サイバーエージェント、最大68億パラメータの日本語LLM（大規模言語モデル）を一般公開 ―オープンなデータで学習した商用利用可能なモデルを提供―

株式会社サイバーエージェント（本社：東京都渋谷区、代表取締役：藤田晋、東証プライム市場：証券コード4751）は、最大68億パラメータの日本語LLM（Large Language Model、大規模言語モデル）を一般公開したことをお知らせいたします。 近年、OpenAI社が開発した「ChatGPT」※1 を始めとする生成AI・LLMは急速な進化を遂げており、世界中のあらゆる業界・ビジネスにおいて活用が進んでいます。 一方、既存のLLMのほとんどは英語を中心に学習されているため、日本語および日本文化に強いLLMは少ない状況です。 ■最大68億パラメータの日本語LLM（大規模言語モデル）の公開について こうした背景のもと、当社は日本語LLMの開発に取り組んでおり、このたび一部モデルをHugging Face Hubにて公開いたしました。公開されたモデルはオープンな日本語データ※2で学習したもので

[chiyomarco]

全然関係ないけどドワンゴは2014年から人工知能開発研究所を要していて、2019年に閉所させている／先取りしすぎたのか、我慢するキャッシュがないかはさておき、ことごとく経営センスがないのに比べるとCAがより際立つ

[eiki_okuma]

なおGPT3が1750億パラメータ、GPT4は5000億パラメータ以上（推定）とのこと。

[kizimuna06]

最近のLLMで量が質を凌駕するって現象が起こることがわかってるからパラメータ数は重要。指数関数的に今後増やせるか。

[shiketanotsuna]

wikipediaの寄付よこせがこういうところがちゃんとお金払うことでなくなるんじゃないかな

[hunglysheep1]

公開する経営判断は凄いな、利用が進みそう。　追記、学習量は時間が解決するんじゃないかな。一定の品質になって、その時点で採用事例が多くこなれてれば開発者も使いやすいだろうし

[dynamicsoar]

（オフトピ）WikipediaというかWikimedia Foundationは独立性を保つために敢えてスポンサをつけてないはず←と書いたが勘違いぽい。個人の寄付は多いが、 https://meta.wikimedia.org/wiki/Sponsorship https://wikimediafoundation.org/support/benefactors/

[shunkeen]

“より多くの方々が日本語の自然言語処理に関する最先端の研究開発に取り組んでいただけます”／これを釣り餌に青田買いできそう。初めて研究した大規模言語モデルを親と思い込んだ学生を全国からかき集めるとか。

[mouki0911]

日本語という独自プロトコルがあるのに日本企業が負けるなという思いはあるので頑張って欲しい。始めたこと、アウトプットしたことを評価。

[aox]

ちゃんとポリシーを持ってクローズドでやらないとろくなことにならないと思います

[morita_non]

GPT-3は1750億個でGPT4は非公開か。これからやね。

[naggg]

https://huggingface.co/cyberagent

[masahiko_of_joytoy]

ちょっと試した感じ、結構な個人情報が出てくる感じがしてヒヤヒヤしちゃう

[yamadar]

一般公開きた

[winniemouse]

ほえー

[cardiogram]

日本語の言語としての出来の悪さがどうしてもな

[boomerangj]

ありがたいし本当に頑張って欲しい。キラキラアーキテクチャに無駄な金かけてるような会社より全然応援したい。

[OkadaHiroshi]

GPT-2 が15億で GPT-3 が1750億 だそうです。少なくともGPT-2でもそれっぽい文章が生成できていたみたいなので、チューニング次第では色々応用用途はありそう。

[qpci32siekqd]

正直アーキが悪いと思うんだがなぁ…。新しい情報出てきて追加学習しようとすると全部学習だし（差分はLoRAとかでデータ量削減はできるとはいえ）

[zgmf-x20a]

問題はコンシューマレベルのGPUでどこまで動くかってことなんだな。

[kgkaaz]

ある程度までできることを示した後に国の予算を取りに行くんでしょうね。実際、数百億円もあれば現在のgpt4 レベルのはできそうだからな。

[aneet]

そりゃパラメータ数が多い方がいいけど、そんな事言ってたらいつまでも踏み出せないからのう…国産LLMを育てていかないとね。

[Y_Mokko]

GPT3と比べると圧倒的にパラメータ少ないし公開しても問題ないという判断？

[prjpn]

なんか、、微妙

[anigoka]

どうやったらコナミに反訴出来るか考えさせよう

[KoshianX]

ウマ娘マネーがこうした動きにつながってるんだろうかなあ……儲かってるところはすばらしいな

[tzk2106]

68億がどの程度すごいのかがわからないので……

[sainokami]

はてブをラーニングしたらどうなるの

[queeuq]

今パラメータ数が劣っているのは何ら問題ない。ここから数年で本当に勢力図が入れ替わりそうな潮目だなぁ。。。

[hatebu_ai]

ウマ娘で一部使ってそう？

[ichiken7]

広告コピー吐かせて成果から最適化を繰り返すとか、ソシャゲの対話文生成させて、課金成果から最適化繰り返すとか、サイバーだと目先に使い道が多いな。

[GENS]

学習元がWikipediaとCommon Crawlでクリーンではあるけれど、Evilに学習してるGPTの方が強そうだなー

[ET777]

ギャル語につよそう（偏見

[Cru]

おお。素晴らしい。日本語に特化だとガラパゴス化しそうだし、限定せずにG20各国語に対応して世界に雄飛してほしいな。あとVIMAみたいにマルチモーダルとかの方向で物作り方向にも手を広げられれば

[misshiki]

“本モデルをベースとしてチューニングを行うことにより、対話型AIなどの開発も可能”

[yg2383]

公開されたモデルはプログラミンが必要で、チャット機能はない。一般公開という言葉に惑わされました