こんにちは、すきにーです。 Transformerのこの図がずっと理解できなかったのですが、 最近理解することができました。 この記事で自分なりに解説していきたいと思います。 コードはかなり簡略化して書いてます。 はじめに この記事で説明していること TensorFlow公式ドキュメント, Transformerモデル https://www.tensorflow.org/tutorials/text/transformer エンコーダーとデコーダーからTransformerの作成のところまでを説明しています。 参考にした記事 作って理解する Transformer / Attention 深層学習界の大前提Transformerの論文解説! 【Pytorch】Transformerを実装する 図で理解するTransformer Transformerの構造 全体図 入力 → Encode