36億パラメータの日本語言語モデルを公開しました

LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog こんにちは。 LINEのNLP Foundation Devチームの清野舜と高瀬翔とoverlastです。 LINEでは2020年11月から日本語に特化した大規模言語モデル「HyperCLOVA」の構築と応用に関わる研究開発に取り組んできましたが、この「HyperCLOVA」と並行するかたちで複数の大規模言語モデルの研究開発プロジェクトが進行しています。 今回はそれらの研究開発プロジェクトのうち、我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました。 この記事

[overlast]

HyperCLOVAでは無い、LINEの日本のNLPチームが独自で作った大規模言語モデル(LLM)です。コスパよく構築することを心がけたパラメタサイズの割に高性能なモデルです。構築の参考になりますので、Xやブログで感想ください🙏

[queeuq]

主題とは完全にずれてるけど、日本語650GBと英語800GBってどれくらい情報量に差があるんだろうか。1文字が平均的に容量4倍とすると文字数としては1/6程度しか無いはず？ただ日本語の方が少ない文字で表現出来るのでうーん

[sonots]

:eyes:

[dhrname]

一方、楽天ViberはChatGPTを使った。「ChatGPT Powered AI Bot」https://chats.viber.com/aichatdraw

[nilab]

「我々を含むMassive LM開発ユニットから、日本語言語モデル「japanese-large-lm（ジャパニーズ ラージ エルエム）」をOSSとして公開できる状況になりましたので、本ブログを通じてお伝えすることにしました」

[misshiki]

LINEのjapanese-large-lmの公式発表ページ “36億および17億パラメータの日本語言語モデル（以3.6Bモデル、1.7Bモデル） を紹介しつつ、途中で得られた言語モデル構築のノウハウを共有します。” 日本語モデルが次々出てくるね。

[yarukinasu]

日本語の言語モデル！！！！！

[Helfard]

良く分からないので≠″ｬ｣ﾚ文字τ″木艮旡言兌ιτ谷欠ιﾚヽ。

[shoh8]

日本語言語モデル

[tkni2005]

LINE

[isrc]

モデルの訓練にはLINE独自の大規模日本語Webコーパスを利用／1.7BモデルはOpenCALM-7Bと同等かタスクによっては良い性能を達成し、3.6BモデルはRinna-3.6Bと同等かタスクによっては良い性能を達成可能

[kei_1010]

誰か試して

[sharaku3eyes]

試したい