いちばんやさしいローカル LLM｜ぬこぬこ

概要ローカル LLM 初めましての方でも動かせるチュートリアル 最近の公開されている大規模言語モデルの性能向上がすごい Ollama を使えば簡単に LLM をローカル環境で動かせる Enchanted や Open WebUI を使えばローカル LLM を ChatGPT を使う感覚で使うことができる quantkit を使えば簡単に LLM を量子化でき、ローカルでも実行可能なサイズに小さくできる 1. はじめに大規模言語モデル（LLM）の数は数年前と比べてたくさん増えました。有名な LLM を使ったチャットサービスとして、OpenAI の ChatGPT や Anthropic の Claude、Google の Gemini などがありますが、これらのサービスの中で利用されている大規模言語モデルは公開されていません。 現状、様々な評価指標により LLM の性能が測定されていますが、

[RySa]

GPU無しのMacbook Airでも動作確認出来た。因みにGemma:2bで受け答えは英語。今晩の料理のおすすめを教えてくれて最後に「ナプキン用意しますね！」と言われた。君、実世界にナプキンどうやって持ってくるん？

[misshiki]

“Ollama という初心者の方でも比較的失敗しにくい LLM 推論アプリケーションを用いて、ローカル環境で LLM を実行するまでを取り扱います。”

[deejayroka]

“標準で量子化されたモデルを利用することができます。便利ですね。一方で、出たばかりのモデルや自前のモデル、たとえば日本語モデルに対応していないことも多いです。そういった時に自分で量子化し、Ollama で使え

[puhu208n]

出たての頃のローカルLLM実行環境は日本語特化LLMぶち込むと落ちたりしてたなぁ

[alex0715]

“Ollama”

[irimo]

good

[fai_fx]

"参考値として 32GB であれば 32GB までは動く感触です。"...

[buhoho]

ollamaは用意されてないモデル使おうとしたら自分でModelfile作る必要ありinstraction シーケンスの設定間違うとまともに動かないし辛かった。koboldcppは何も考えないで拾ってきたggufを読み込むだけでWebUIでチャットできる