LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;

LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co

[shiba_yu36]

これやったら、次に読んでいる「作ってわかる！自然言語処理AI」が理解しやすくなっていて良かった

[masahiko_of_joytoy]

自分もDLを学ぶにはこれが最良だった。ただ①はCNN、②はRNN+Attentionまでなので、LLMの基礎でもあるTransformerを学ぶのはこの記事が良かった https://qiita.com/halhorn/items/c91497522be27bde17ce

[WildWideWeb]

分からないことがあるとき、どの程度まで分かるべきかについての一つの指針。自分もかくありたい。利用価値だけ分かってれば良い、ちゃんと分かってる奴をうまく使いこなせば良い的な発想とは逆。

[Insite]

この本やると、AIがブラックボックスではないことが知覚できる。細菌や昆虫の動きも知性抜きで理解できるような気がする。そこから人間の知性への連続性も想像できるような気がする。

[shinobue679fbea]

今このアクションを取れてない自称エンジニアは何をやらせてもダメ

[kusomamma]

『ゼロつく』の無印はCNNの実装だった記憶。自然言語処理とはまたアプローチが違うような。

[yarumato]

“オライリー「ゼロから作るDeep Learning」を読む。LLMでよく言われているパラメータ数が具体的に何を指しているか分かった”

[gfx]

"完走したことにより、「ディープラーニングは魔法のように見えてしまう」から「詳細は分からないけどなんとなくやっていることの方向性は分かる」くらいにはなれたかなと思う"

[shogochiba]

お晩です。お疲れ様です。👍✋🙋👩👨😊

[tanority]

コメント含めて

[torigara1234]

自然言語処理やるならseq2seq やってattention all you needs 読んでattention seq2seq やってTransformerやるのがいいと思う

[asuka0801]

CNN、RNN+Attention、Transformerは理論の解説や数式眺めるより実際に手を動かして動かしてみた方が理解し易い。エンジニアならまずはやってみるのが一番だと思う。

[tattyu]

自動運転の研究が盛んになった時にAIやってる知り合いに勧められて買ったけど最初の方しか読んで無かった。俺も写経するかな。