「Llama.cpp」で「Karakuri LM」を試したので、まとめました。 ・Llama.cpp (b2045) ・M3 Max 1. Karakuri LM「Karakuri LM」は、カスタマーサポートDXを推進するカラクリ株式会社が開発したLlama2ベースの70Bの日本語LLMです。「Japanese MT-Bench」の性能評価において、2024年1月26日時点で国産LLMモデルとして最高性能を達成しています。 2. Karakuri LM のモデル一覧2-1. 公式モデル現在提供されているモデルは、次の2つです。 ・karakuri-ai/karakuri-lm-70b-v0.1 ・karakuri-ai/karakuri-lm-70b-chat-v0.1 2-2. 量子化モデル量子化モデルは、mmngaさんが提供されています。推奨は、「Q4_K_M」「Q5_K_M」「Q5