ディープマインドが言語モデル「RETRO」発表、訓練コストを大幅削減

自然言語処理におけるAI研究の主流となっている大規模言語モデルには、訓練に膨大な計算能力を必要とするという欠点がある、ディープマインドは外部メモリーを辞書として活用することで、訓練に要するコストを大幅に下げられるモデルを発表した。 by Will Douglas Heaven2021.12.13 60 11 13 オープンAI（OpenAI）が言語モデルの「GPT-3」を公開してからの2年間に、著名な人工知能（AI）研究機関の多くがGPT-3を模倣した独自のモデルを開発してきた。グーグル、フェイスブック、マイクロソフト、そして少数の中国企業が、説得力のあるテキストの生成、人間相手のチャット、質問への回答などが可能なAIを構築した。 こうしたモデルは、大規模なニューラル・ネットワークがベースになっていることから「大規模言語モデル」と呼ばれている。今やAIの主流トレンドとなった大規模言語モデル

[tanayuki00]

「RETROのニューラル・ネットワークのパラメーターはわずか70億だが、約2兆の文節を含むデータベースでAIモデルを補助」「テキストを生成する際に、生成中の文章と似た文節をデータベースから検索して比較する」

[misshiki]

“RETRO：Retrieval-Enhanced Transformer）と呼ばれるこのAIの性能は、25倍の規模のニューラル・ネットワークを有するモデルに匹敵する。”