ChatGPT先生に教わりながら「Transformerの肝」である「注意機構（Attention機構）」を可視化する | 豆蔵デベロッパーサイト

前回と前々回では機械学習アーキテクチャ「Transformer」を使って簡単な文章生成に挑戦しました。 ちょっと前までは、プログラミングで調べたいことがあるときは「Google先生」にお伺いを立てていたのですが、最近は「ChatGPT先生」にお伺いを立てることが増えました。 （ここでは ChatGPT に対して敬意を込めて「ChatGPT先生」と呼称しています。ChatGPT先生に問いかける時に出来るだけ敬語で問いかけるようにすると良い結果が出るようです） 今回は「Transformer」が「入力文のどの単語に注意しているのか」を”可視化”する方法を ChatGPT先生に聞きながら実装してみたいと思います。 注意機構（Attention機構）は、Transformerに代表される自然言語処理や音声認識、画像処理などの分野で幅広く使用される機構です。 これは、モデルが与えられた入力の一部に重

[Nyoho]

おもしろ