Apple Silicon・CPUでphi-3（Phi-3-mini-4k-instruct-gguf）を動かす - nikkie-ftnextの日記
はじめに ユーフォ3期4話、めっちゃよかった。すっごいよかった😭 nikkieです 最近登場したphi-3、気になったので触りました。 目次 はじめに 目次 届いたphi-3の興奮 Phi-3-mini-4k-instruct-ggufを動かす ollamaで動かす llama-cpp-pythonを使って動かす 量子化前のモデルをtransformersで動かす 積ん読：Phi-3-mini-128k-instructもすごそう 終わりに 届いたphi-3の興奮 Llama 3が登場したばかりですが、phi-3への興奮の声を観測1 I can't believe microsoft just dropped phi-3 less than a week after llama 3 https://t.co/1EPzVKzhDi. And it looks good! pic.twitt
MLX SwiftでMeta Llama 3を動かす
macOSやiOSデバイスでLLMの推論を動かすにはllama.cpp[1]やMLX[2]が利用できます MLXはAppleによるプロジェクトでSwift APIも公開されています[3] MLX Swiftを使ってデバイス上でLLMを実行するにはMLX Swift Examplesリポジトリで公開されているソースコードが参考になります この中のLLMEvalというアプリは、Hugging Faceから任意のモデルをダウンロードしてきてテキスト生成を実行します。MacとiOSでも動作します LLMEvalは標準で以下のモデルに切り換えて実行できます Llama 3を動かす リストされているllamaはCodeLlamaなので、ここにLlama 3を追加して動かしてみます LLMEvalが依存しているLLMライブラリ(MXLL)のソースコードを更新します Models.swiftに以下のように
MLX Swift による LLM のオンデバイス推論を試す｜npaka
「MLX Swift」による「LLM」のオンデバイス推論を試したので、まとめました。 1. MLX Swift「MLX Swift」は、Swiftから利用できる「MLX」で、「MLX」は、Appleが開発した新しい機械学習フレームワークで、「Apple Silicon」(M1/M2/M3など) を最大限に活用するように設計されています。 ・サポートするプラットフォーム ・Mac ・iOS ・visionOS 2. iOSのデモアプリの実行iOSのデモアプリの実行手順は、次のとおりです。 (1) 以下のXcodeプロジェクトをダウンロードして実行。 初回は、モデルダウンロードに時間がかかります。 ・LLMEval (2) 必要に応じてでモデルを切り替え。 ControlViewの150行目で切り替えることができます。 let modelConfiguration = ModelConfigu
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
