第1層では確かにTransformerのattention機構は単語間の関係性を出現位置に関わらず符号化してるけど、元論文の時点でそれが数層重なってるし、GPT3.5だと数十層も重なってるので、奥の方では単語によらず処理してると思うよ

T-norf のブックマーク 2024/04/17 10:09

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4752165792875293728/comment/T-norf" data-user-id="T-norf" data-entry-url="https://b.hatena.ne.jp/entry/s/gigazine.net/news/20240416-visualizing-transformer-attention/" data-original-href="https://gigazine.net/news/20240416-visualizing-transformer-attention/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fgigazine.net%2Fnews%2F20240416-visualizing-transformer-attention%2F" data-user-icon="/users/T-norf/profile.png">ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される</a><br><p style="clear: left">第1層では確かにTransformerのattention機構は単語間の関係性を出現位置に関わらず符号化してるけど、元論文の時点でそれが数層重なってるし、GPT3.5だと数十層も重なってるので、奥の方では単語によらず処理してると思うよ</p><a class="datetime" href="https://b.hatena.ne.jp/T-norf/20240417#bookmark-4752165792875293728"><span class="datetime-body">2024/04/17 10:09</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

gigazine.net2024/04/16

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transf ormer」構造の心臓部「Attention(アテンション)」についての解説が行われていま...

290 人がブックマーク・10 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

はてなブックマーク

公式Twitter

はてなのサービス