タグ

ブックマーク / zenn.dev/hellorusk (1)

  • ollamaで Fugaku-LLM を動かす

    昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。 ステップ1: Fugaku-LLM のファイルをダウンロードする からお好みのファイルを選びます。 とりあえず、一番サイズの小さい(おそらく量子化が一番効いている) 「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を選びます。 の download ボタンからダウンロード。 ステップ2: Modelfile を作成する モデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と

    ollamaで Fugaku-LLM を動かす
  • 1