推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密

推定1000万円以下のコストで開発され、国内最大・最高性能を達成した日本語LLM, Karakuri-LMの秘密 2024.02.18 Updated by Ryo Shimizu on February 18, 2024, 10:08 am JST 2024年1月。国内の生成AIコミュニティに激震が走った。 コンタクトセンター向けのチャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70bの性能が高すぎると話題になったのだ。 多くの日本語LLMと同様に数学能力に関するスコアは低いが、物語を記述する能力、日本語の質問に日本語で答えたり、答えをプログラムで扱い易いJSON形式にしたりする能力がこれまでの国産LLMに比べて桁違いに高かったのである。 物語を記述する能力に関しては、一説によればGPT-4を凌駕するとも言わ

[masadream]

「Llama2をベースとして、独自に日本語向けの語彙の拡張を行い、独自に集めた日本語データを含め1000億トークンのデータを学習させたもの」

[isrc]

学習に使ったコードは全てオープンソースのものを使用したとはいえ、GPU以外の手段で学習されたLLMがこれほど高い性能を、しかも高コストパフォーマンスで達成したことは、まさしく「事件」

[misshiki]

“チャットボット開発のパイオニアとして知られるカラクリ社が商用利用可能のオープンソースモデルとして公開したKarakuri-ln-70b”

[samasan-tabasan]

安くてカシコいAIがバンバンできるんなら大歓迎だよw Amazonエライw

[tattyu]

凄いけど744万が安い世界とか素人が手を出して遊べる分野じゃ無いのが悲しい。

[hhungry]

ベースはLlama2なのでビッグテックからのおこぼれからの成果で大袈裟でしょ…

[kei_1010]

すごそう