数式を使わないTransformerの解説（前編） - conceptualization

2023/3/23 追記： こちら半年以上前に執筆したもので、その後私の理解も進んで内容的に更新したいところが結構あるため、近日中に非公開とさせていただき,更新後に再公開させていただくつもりです。現時点での本記事の内容は、大きく間違ってはいないけどちらほら微妙なところがあるという感じです。 （ざっくり理解するだけでも良いという人にはそれでも良いかもしれませんが、そういう方向けには 今執筆中のこちらの記事 をおすすめします。） −−−− 最近話題のmidjourneyやDALL-E、凄いですよね。中身はディープラーニング（DNN）のようです。DNNといっても色んな技術がありますが、それらにはTransformerという手法が使われています。本記事は、その手法がどんなものであるかを数式を使わずに説明してみよう、という主旨になります。 ※なお本記事は機械学習のプロの研究者ではない私の独自の解釈が

[isobe324649]

筆者です。本記事は半年以上に書き始めて、その後私の理解も進んで少し内容を更新したいので、いったん非公開とさせてください。読んでいただく機会が増えたため、中編、後編ともにこちらも完結させるつもりです。

[tach]

参考。

[knok]

position encodingとposition embeddingが混同されているような

[rryu]

早く後編が読みたい。

[hirorinya]

素直に数式「も」欲しい

[masahiko_of_joytoy]

改めて考えるとTransformerの凄さってどれを指すんだろうな。Attention自体はLSTMで既にあったから、位置埋め込みとマルチヘッドAttentionの導入でGPUが使えるようになったこと？

[natu3kan]

特定の言語にくっつく言葉って前後の文脈によって強く出てくるモノが決まってるとこあるもんな、リンゴでも植物の分類の話なら他の植物の話になるだろうし。アップルパイの作り方なら他の材料や工程になるだろうし。

[yarimoku]

ここで意味が急にわからなくなった→"そこで、扇型の座標は2次元なので、「単語の意味」を表現するのに使った512ビットを256ビットずつ2つに分けて、「文脈が考慮する距離スケール」を256個用意することにします"

[rissack]

む、むずかしすぎる……

[lifefucker]

後編がねえ

[asuka0801]

MidjourneyやStable DiffusionやChatGPTに使われているtransformer自体の解説