ollamaで Fugaku-LLM を動かす

昨日公開された Fugaku-LLM は珍しく公式が GGUF ファイルを配布してくれているので、これを使って手元の Macbook で動かしてみます。 準備: ollama をインストールする 以下のインストーラに従ってアプリケーションを入手できます。 アプリケーションの指示に従って、CLI 上でも ollama コマンドを使えるようにしておきます。 ステップ1: Fugaku-LLM のファイルをダウンロードする からお好みのファイルを選びます。 とりあえず、一番サイズの小さい（おそらく量子化が一番効いている） 「Fugaku-LLM-13B-instruct-0325b-q5_k_m.gguf」を選びます。 の download ボタンからダウンロード。 ステップ2: Modelfile を作成する モデルファイルのダウンロードが終わったら、同じディレクトリに、Modelfile と