GPTの仕組みをちゃんと勉強したい本 - きしだのHatena
やっぱGPTを仕組みから勉強したい、という本をいくつか見つけたのでまとめておきます。 まず理論的な概要。 機械学習からニューラルネットワーク、CNNでの画像処理、トランスフォーマーでの自然言語処理、音声認識・合成、そしてそれらを組み合わせたマルチモーダルと章が進むので、理論的な概観を得るのにいいと思います。 最初は数式が多いのだけど、Σをfor文だと思いつつ、定義が説明文中に埋まってるPerlよりたちが悪い記号主体言語だと思えば読めるけどめんどくさいので飛ばしても問題ないと思います。 深層学習からマルチモーダル情報処理へ (AI/データサイエンスライブラリ“基礎から応用へ” 3) 作者:中山 英樹,二反田 篤史,田村 晃裕,井上 中順,牛久 祥孝サイエンス社Amazon で、もういきなり作る。 トークナイザーから全部つくっていきます。TensorFlowでBERTをつくってGPT2をつくる
1冊の単語帳を610日かけて全読したら語彙力が1万語になった
きっかけは、読書猿さんとの飲み会だった。 「海外の記事やSNSを読むのに英語力が足りない。しゃべれなくても書けなくてもいいけど、スラスラ読めるようになりたい」と愚痴ったところ、「まず2万語」と言われたのが最初だ。 語彙力こそパワー、ボキャブラリーを増やすぞとばかりに選んだのがこれだ。 理由は、英語を学んできた人たちの評価がダントツだったことが一つ。もう一つは、お試しで手にしてみたところ、「ちょっと難しいけれど、頑張れば読めないこともない」というレベルだった点だ。 本書を610日間かけて読み切った結果はこうなる。Preply のボキャブラリーテストによると、ほぼ一万語に到達できた。 7870 words （2021年4月） 9944 words （2023年4月） ぶっちゃけ私一人では無理だった。初志は継続せず、どこかで挫折する理由を探し出していた。 だが、私を一人にしない技法を用いることで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
