オープンなLLMをDockerで動かす

次々と発表されるオープンな日本語大規模モデル どうなっているの？？という感じですよね。 我らがnpakaさんは、さっそくGoogle Colabで動かしていらっしゃいます。 ただ、Google Colabだと毎回モデルのダウンロードが大変なので、ローカルでDocker使って手軽に動かせるといいな、ということでやってみました。 以下GitHubのリポジトリにDockerfileとサンプルプログラムをおいています。チャットっぽいことをできるようにしています。 上記で、サイバーエージェントとリンナのLLMが両方動きます。 使用環境 前提となる環境です。使用しているPCのスペックは以下です。 項目 内容

[programmablekinoko]

OSSとして言語モデルを公開しているのは、その先の学習量は金の力で殴るしか無いから簡単に追従されない＆クローズドAIへの批判をかわしたい思惑もあろう

[knok]

結局CAのモデルとコーパスに違いがないのでなあ…Fine tunngはPEFTでLoRA使えば個人レベルのリソースでできる

[hunglysheep1]

１年後はどうなってるんだろうな

[misshiki]

“ローカルPCでLLMを手軽に動かす方法を紹介”

[truesoftware]

LLM

[ashitting]

おもしろそう

[knjname]

あとでやってみる

[devrabi]

動かすためのPCが欲しくなる

[mizhiro]

自社専用LLM作るときの情報？

[shunkeen]

“りんなは、モデルが対話に対応していますが、結構Hallucination（間違い）が激しい”／スケーリング則的に、計算コスト、学習データ量、パラメータ数が小さいと、やっぱり精度が低くなっちゃうのかな？

[zakinco]

すごーい