Command-R 35B x memGPT インテグレーションレポート - YKRV.NET

これまで様々なローカルモデルが登場してきた。70Bといったローカルで動作させるには業務用グレードのA1000といったようなGPUをx枚といったような環境を整えればChatGPTクラスの代物を動かせる。 そんな話題は散々聞いてきた。だが、一般人としての目線で見るとするなら、ご家庭一般クラス基準で動かすにせよRTX 4090シングルカードといったグレードが関の山。 しかしローカルLLMはそう甘くはない。シングルカード動作かつコンシューマーグレード前提ともなれば、どれもGPT-4はおろかGPT-3.5の足元にも及ばないモデルが多く、特に日本語の出力精度・純粋なロールプレイ型チャット性能を問おうとすると、出力こそ可能でもイマイチ体感的にぱっとしないモデルが昨年から登場し続けてきた。 そんな中 2024年 3月の終わり頃、Cohere社によりあるローカルLLMモデルが一般公開された。

[misshiki]

“Cohere社によりローカルLLMモデルが一般公開。「Command-R」と呼ばれるそのモデルはRAG特化型で35B規模のモデルとして配布...Command-R 35B x memGPT インテグレーションレポート”