NTT版大規模言語モデル「tsuzumi」 | NTT R&D Website

近年、ChatGPTを始めとする大規模言語モデル*1に大きな注目が集まっておりますが、これらは膨大な知識をモデル内に有することで高い言語処理性能を示す一方、学習に要するエネルギーは、原発１基１時間分の電力量が必要*2とも言われており、また、運用には大規模なGPUクラスタを必要とし様々な業界に特化するためのチューニングや推論にかかるコストが膨大であることから、サステナビリティおよび企業が学習環境を準備するための経済的負担面で課題があります。 NTTでは、これらの課題を解決する研究開発を進め、今回、軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発しました。「tsuzumi」のパラメタサイズは6～70億と軽量であるため、市中のクラウド提供型LLMの課題である学習やチューニングに必要となるコストを低減します。「tsuzumi」は英語と日本語に対応し

[i196]

こういうのって自分で使ったり比較してみないとなんとも言いようがないのよな

[gmi]

ある程度金取ってもいいから広い範囲に公開して市場に揉まれてほしい。リリースだけだとなんとも眉唾だ。

[rxh]

Hugging Faceへのリンクが貼られてるかと思ったらそんなことはなかった。プレスリリース芸か…

[bigchu]

日本語特化

[naggg]

3月調査ってことは、GPT-3.5の1月バージョンかな？ → “GPT-3.5に勝率81.3%と上回り、2023年10月時点の勝率52.2%から着実に性能向上を進めています。（2024年3月NTT調査）”

[dhrname]

「実際の言語モデルの回答比較とGPT-4の判定例」が面白い。tsuzumiとGPT-3.5にそれぞれ回答させて、どちらの回答がより正確かをGPT-4に判断させている

[canadie]

ベンチマークの結果がなぜか勝率だったり、比較をなぜかGPT-4にさせたりと随分ふわっとした内容だな…。唯一生成物が出ている「平成と令和の比較」もステロタイプな回答になるのであまり意味がない気がする

[nil0303]

日本語が強いだけだと市場はどうやってもスケールしないんだよなぁ...。英語も最低限GPT3.5とタメ張れるくらいじゃないとすぐ埋もれそう。

[yu_fuk]

現時点では言語モデルとあるだけで、コンパイラが必要なのかスクリプトなのか、動作環境は何か、もう少し具現化されないと評価は難しそう。

[asuma9]

日本語ならこれ一択になりそう。というか他の国産モデルが弱すぎる

[urtz]

パラメタや学習コスト削減が流行っているが、AIベンチ特化の過学習であることを否定できないのがなあ。結局は実績が必要

[fun2drive]

で、どこにテキストを打ち込めば良いんですか？

[NAPORIN]

　しりとりも小説もいけるのかな？

[onesplat]

どうせ大したことないんでしょ？

[ozomatli]

期待

[hhungry]

いずれにしてもGPT3.5程度のLLMなら市販のPCでも近いうちに処理できそうで楽しみ。

[blueboy]

NTT研究所は、東大情報学科の秀才がいっぱい就職しているところ。理3並みの人材もいるのだが、いかんせん、給料が高くないので、近年は Google などに人材を奪われている。もうちょっと給料を上げないと。　https://x.gd/DcEoz

[boxshiitake]

使えないなら意味ないよ

[door-s-dev]

使えるようになる頃にはわすれてそうだけども一応

[shiramasa]

つずみ？

[misshiki]

“軽量でありながら世界トップレベルの日本語処理性能を持つ大規模言語モデル「tsuzumi*2」を開発。パラメタサイズは6～70億と軽量で、クラウド型LLMの課題である学習やチューニングに必要となるコストを低減します。”