「GPT-3」に近い性能の言語モデルをオープンソースで目指す「GPT-Neo」

非常に高精度の文章を作れる言語モデル「GPT-3」は、OpenAIが開発したものの、オープンソースでもオープンアクセスでもなく、さらにMicrosoftと独占的ライセンス契約を締結しているので、自由に使うことはできません。こうした状況に対して「オープンソースのGPT-3」を作ろうとする動きがあります。その中の1つが「GPT-Neo」です。 EleutherAI - GPT-Neo https://www.eleuther.ai/gpt-neo AI Weekly: Meet the people trying to replicate and open-source OpenAI's GPT-3 | VentureBeat https://venturebeat.com/2021/01/15/ai-weekly-meet-the-people-trying-to-replicate-and

[Nyoho]

“将来的には、パラメータのケタを1つ落として軽量化した最終モデルを計画しているそうです。 ”

[misshiki]

“「オープンソースのGPT-3」を作ろうとする動きがあります。その中の1つが「GPT-Neo」です。”

[diveintounlimit]

“コーパス(言語研究用データベース)「The Pile」は、データサイズが835GB”でかい

[KoshianX]

ほおう、オープンソースなのか。ちょっと遊べると楽しいんだが遊び方がよくわからんな

[punychan]

これからは真偽不明の怪文書が大量に出回るんだろうな。それを識別するAIが出てきても、それと敵対的に成長していってしまう。社会は耐えられるのか？

[BlueSkyDetector]

期待