GPT-3の学習データはどのように作られたか - moriyamaのエンジニアリング備忘録

OpenAIが発表した言語モデルGPT-3はパフォーマンスの高さから各方面で注目されており、ついにはMicrosoftが学習済みモデルの利用を独占化しました。 私個人の所感としてこれまで学習済みモデルは無料公開するという流れを無視し、（アーキテクチャではなく）学習済みモデルが商品化するのはAIビジネスの一つの転換期と感じています。 深層学習による自然言語処理分野で巨大化していくモデルを十分に学習させるためにはWebデータの活用が大きな役割を果たしています。一方、その量に関する話題はあるものの、利用にあたっての細かな前処理に関する議論はあまりなされていない印象です。 そこで本記事は学習データの構築にフォーカスします。 GPT-3の論文でも言及されている通り、学習データはGoogle Researchが発表したT5のデータを踏襲したと書かれていますので、まずはT5のデータから見て行きましょう。

[kei_1010]

学習にかかったコストが5億円と聞くと高いようにも思うけど5億円出せばこのレベルのAIが手に入ると考えると非常に安いようにも思える。手法が公開されたら5億でクラウドを回す企業がじゃんじゃん出てくるだろうな。

[kazuph1986]

５億円かけて作られたモデル…。

[knok]

GPT-2はもっと質を担保するために手が込んでいたようなんだけど、結局数を増やすにはCommon Crawlベースにどうにかするしかないのかな

[Keisuke69]

“学習にかかったコストはクラウドで日本円で約5億円” 😳

[YaSuYuKi]

低品質データの除外を機械学習で行っているのは効果的そうに見える(専門家ではないのでコスト以外の点にどう作用するかはわからないが)

[misshiki]

“T5及びGPT-3で使用されるデータの構築方法についてまとめ”られている。「学習済みモデルが商品化するのはAIビジネスの一つの転換期」との指摘は興味深い。