次の単語を予測するのはTransformerではなくGPTの学習方法。Transformerの中のSelf Attentionはある単語との関連が大きい単語に重み付けしているだけ。

sek_165 のブックマーク 2024/04/17 12:34

<blockquote class="hatena-bookmark-comment"><a class="comment-info" href="https://b.hatena.ne.jp/entry/4752165792875293728/comment/sek_165" data-user-id="sek_165" data-entry-url="https://b.hatena.ne.jp/entry/s/gigazine.net/news/20240416-visualizing-transformer-attention/" data-original-href="https://gigazine.net/news/20240416-visualizing-transformer-attention/" data-entry-favicon="https://cdn-ak2.favicon.st-hatena.com/64?url=https%3A%2F%2Fgigazine.net%2Fnews%2F20240416-visualizing-transformer-attention%2F" data-user-icon="/users/sek_165/profile.png">ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される</a><br><p style="clear: left">次の単語を予測するのはTransformerではなくGPTの学習方法。Transformerの中のSelf Attentionはある単語との関連が大きい単語に重み付けしているだけ。</p><a class="datetime" href="https://b.hatena.ne.jp/sek_165/20240417#bookmark-4752165792875293728"><span class="datetime-body">2024/04/17 12:34</span></a></blockquote><script src="https://b.st-hatena.com/js/comment-widget.js" charset="utf-8" async></script>

このブックマークにはスターがありません。
最初のスターをつけてみよう！

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

gigazine.net2024/04/16

さまざまな数学的トピックをムービー形式で解説するサイト「3Blue1Brown」において、ChatGPTに代表されるAIを形作っている「Transf ormer」構造の心臓部「Attention(アテンション)」についての解説が行われていま...

291 人がブックマーク・10 件のコメント

他のコメントを読む

＼コメントがサクサク読めるアプリです／

はてなブックマーク

ChatGPTなど数々の高性能AIを生み出した仕組み「Attention」についての丁寧な解説ムービーが公開される

はてなブックマーク

公式Twitter

はてなのサービス