ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transformer」構造の心臓部「Attention(アテンション)」についての解説が行われています。 3Blue1Brown - Visualizing Attention, a Transformer's Heart | Chapter 6, Deep Learning https://www.3blue1brown.com/lessons/attention AIの中身と言える大規模言語モデルのベースとなる仕事は「文章を読んで次に続く単語を予測する」というものです。 文章は「トークン」という単位に分解され、大規模言語モデルではこのトークン単位で処理を行います。実際には単語ごとに1トークンという訳ではありませんが、3Blue1Brownは単純化して

[sek_165]

次の単語を予測するのはTransformerではなくGPTの学習方法。Transformerの中のSelf Attentionはある単語との関連が大きい単語に重み付けしているだけ。

[T-norf]

第1層では確かにTransformerのattention機構は単語間の関係性を出現位置に関わらず符号化してるけど、元論文の時点でそれが数層重なってるし、GPT3.5だと数十層も重なってるので、奥の方では単語によらず処理してると思うよ

[pekee-nuee-nuee]

みてみるか

[soratokimitonoaidani]

あとで見る

[ducky19999]

πがかわいい

[Coolions]

仮想通貨の仕組みはここの動画で学びました

[tattyu]

チャンネル名の3青1茶ってどう言う意味なんだろ。アイコンからすると目の色の人口分布なんだろうか。

[jssei]

動画もあとで見る。

[syu614]

日本語バージョンもよろしく頼む

[tanority]

このチャンネル好き