超巨大高性能モデルGPT-3の到達点とその限界. この記事では、超巨大言語モデルGPT-3の技術的な解説、GPT-3達成したことと… | by akira | Jul, 2020 | Medium

この記事についてこの記事ではGPT-3[1]の解説をします。内容のサマリは以下の通りです。 GPT-3の前身であるGPT-2では、巨大なデータセット＋巨大なネットワークで言語モデルを構築し、各タスクで学習させなくても良い結果が得られた。GPT-3では、さらに巨大なデータセット＋さらに巨大なネットワークで言語モデルを構築し、数十のサンプルを見せると凄く良い結果が得られた一方、様々なタスクに言語モデルのスケールアップのみで対応することへの限界が見えてきた。人種、性別、宗教などへの偏見の問題や、悪用に対する課題もある。この記事の流れは以下の通りです。 Transformer, GPT-2の説明GPT-3のコンセプトと技術的な解説GPT-3ので上手くいくタスクGPT-3で上手くいかないタスク偏見や悪用への見解 Transformerまず、GPT-3の前身となったGPT-2に入る前に、その中に使われ

[Shin-JPN]

無論単なる確率処理であって意味理解ではないのだが、そもそも人間の言語処理も、単に参照するデータセットが非言語含む広範囲&学習期間が長いだけの確率処理でしかなく、そこに本質的な差異はないのではないか

[vbwmle]

「それっぽいことをいうが実は何も理解していないモデル」は「理解のレベルに応じてつたない表現をするモデル」に比べ頭の悪さが見えない分タチが悪いのでは。現実社会もそれでハックされるパターンは山ほどあるし。

[north_korea]

謎なのはなぜHTMLなどのコードを出力できるのか

[knok]

単なる言語モデルは少なくとも「理解」には踏み込めていないよね/まだBERTのMLMの方が理解に近づいていそうではある。disentangleがNLPでももっと進まないかな

[gengohouse]

「一方、GPT-3でも上手くいかないタスクがあります。例えば下記の質問回答タスクでは、CoQAを除いてFine-Tuneしたモデルより大きく劣る結果になっています。また、ANLI（2つの文を比較して、一方が他方を暗示しているかどう

[Knoa]

たぶん記事の内容とずれちゃうと思うけど、この技術の音楽(作曲)への応用は試されているのかな？

[Y_Mokko]

やっぱりWebtextだと人間が無意識的に行っている差別もそのまま反映されてしまうのね。

[stealthinu]

GPT-3の論文からこれまでとの違い。つまるところ超巨大Transformerで超巨大データセット利用。それでこれだけのことができると逆に意識とは一体なんだろう？と疑問が深まる。

[burabura117]

ざっくりまとまっていてよかった。しかしもはやちょっとしたR&D部門程度ではおこぼれを使うぐらいしかできないな…

[KoshianX]

AIに含まれる偏見の例が検証されてるのがおもしろいなあ。まあ学習するデータそのものにそういう偏見がどうしても含まれてるってことなんだろうなあ……

[misshiki]

“この記事の流れは以下の通りです。1. Transformer, GPT-2の説明。2. GPT-3のコンセプトと技術的な解説。3. GPT-3ので上手くいくタスク。4. GPT-3で上手くいかないタスク。5. 偏見や悪用への見解”

[sh19e]

“超巨大データセット・超巨大モデルが正義という昨今の研究潮流や、偏見や悪用への問題など、GPT-3ではDLを取り巻く環境の縮図を見ている気がします。”

[skypenguins]

パラメータ数が1750億ってヤバすぎる

[tick2tack]

技術的な話。ぜんぜんわからんが。何ができないかを知っておくのは大事そう。

[nikutaiha]

“GPT-3”

[blueboy]

　思いつくという課程では、人間の思考も確率的なのだが、人間の思考の場合には、ダメなときにダメだと判定するエラーチェック機構が組み込まれているので、ダメな候補を排除することができる。　　https://j.mp/2D4eZpQ

[modoroso]

記号着地とフレーム問題だっけ？　まだまだそれの突破は遠いのかな

[stp7]

そもそも読ませてる文が人間の書いた文章だからなあ。

[onesplat]

人間が45TBものテキストを読んでいるはずはないので、その点だけでもスケールではなくモデルの部分に限界があるのは非常にわかるが、それでも生成されたゲイの結婚のニュース記事を読むとゾッとするな

[kana0355]

“タスク特有の注目すべき部分に注視できておらず、実世界の物理情報にも基づいていません。そのため、別アプローチによる拡張が必要な可能性が高い”