日本語で学習させたGPT2でGPT3っぽいことを試してみた | ソフトウェア開発のギークフィード

こんにちは。音声認識エンジンの研究開発をしている大橋です。 今回はGPT3の一世代前のアーキテクチャであるGPT2を使ってGPT3ライクなクエリを試してみました。 GPT3とは ディープラーニング界の今年一番の発表は何と言ってもGPT3でしょう。 GPT3はパラメータ数175Bという超巨大アーキテクチャにスクレイピングしまくったウィキペディアのダンプが小さく見える超巨大データを約5億円とも6億円とも言われる費用をクラウドGPUに突っ込んで学習させたモデルです。 GPT3って何？っていう方は前回のブログを参照して頂けますでしょうか。 以前GPT3については多少触れましたが、一番の面白さはその使い方です。どんなデータをインプットするかによって、アウトプットされる型が変わります。インプットするデータの形式を工夫することで一つのモデルで文章生成、要約、質問に対してイエス／ノーで回答、質問に対して文

[tlo_oly]

“https://github.com/huggingface/transformers”