【Day 3】東大松尾研のLLM講座資料が公開されたから、詳しく読んでいくよ【備忘録】 - Qiita

Transformer 深層学習モデル以前の言語モデルの課題 言語モデルでやりたいことは、「今まで生成した単語列を元に、次の単語を予測する」ことで、その単語は今まで生成した単語列を条件とし、次にある単語がくる条件付き確率を求め、その確率が最大のものを選ぶということだった。（LLM資料p.8参照） ただ、これだと単語列が長くなったときや、類義語の処理に課題が生じてしまっていた。 ニューラル言語モデル しかし、計算したい条件付き確率をNNで推定することにより、対処できた。 Encoder-Decoder型のRNN（Recurrent Neural Network)が最も基本的なモデルにはなるが、これでは長文に対応できなかった。（勾配消失＆単語間の長距離依存性の把握が困難） RNNが勾配消失するのは、活性化関数のtanhが1未満の値を取るため、BPTT時に掛け算されるとだんだん値が小さくなってし

[bacon_epix]

「詳しく読んでいくよ」と言いつつ、「らしい」などの不確かな表現が多いのが気になる。学生だから？Transformerについて知りたいならAndrej KarpathyのYoutubeビデオを手を動かしながらフォローするのがいいと思う。

[misshiki]

“第3回の講義資料”まとめ。

[revert]

よくまとまってるのにコメントが弱いの見ると意外と読者層狭いのかも。社会人で興味がある人はもう既にやっててB3B4あたりと隣接分野が見てる感じでもう十分に既に社会へ浸透した後の世界になってるのかな

[commonp]

このLLM講座資料を本当に読んだ者だけがブックマークするが良い．