【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
LLMを理解する一歩として「ゼロから作るDeep Learning」をやった - $shibayu36->blog;
LLM、GPT界隈を追いかけていて、GPTの仕組みと限界についての考察（2.1） - conceptualizationという記事を見かけた。これを見たとき、「どういうことか全然理解できない」という気持ちになった。また、その他LLMの解説記事を理解できないことが多く、自分の機械学習知識不足が明確になった。 理解できなかったことは悔しいし、LLMやChatGPTをうまく使いこなすには最低限どのような原理で動いているか理解したいと感じた。そこで一歩目として「ゼロから作るDeep Learning」を完走した。 ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装 作者:斎藤 康毅オライリージャパンAmazon 知識なしからはじめたので時間はかかったが、次のように進めていった。 自分もコードを写経しながら読む レポジトリは https://github.co
FGO・CCCコラボ考察感想まとめ
銀月マダオくん@空想樹の根元から @silver_moon_M 十の王冠（ビーストⅠ、ビーストⅥ）、黄金の杯（ビーストⅥ）、百獣母体（ビーストⅡ）などビーストのスキルはチャタル・ヒュユクの女神由来のものが多いが、チャタル・ヒュユクの女神の「怪物王女」と「英雄の母」という循環システムが「七つの人類悪」と「七つの冠位」の原型だったりする？ 2017-04-30 22:21:55 とーふや @tohuyasan CCCはエリちゃんとかBBちゃんとかアルターエゴの女性陣に気を取られてるとハーウェイ兄弟やガトーさん、シンジ、緑茶といった野郎共に息の根を止められるからよろしくな 2017-05-01 11:37:29 はやのり @hayanorihayaki 曲がりなりにもCCCを経た身としては「メルトリリス優しすぎない！？」って思うんだけど 違うんだよなメルトリリスは元々優しいんですよ出来るサディス
魔王「この我のものとなれ、勇者よ」勇者「断る！」 ママレードサンド（橙乃ままれ）著 メイド姉が目指したモノ〜世界を支える責任を選ばれた人だけに押しつける卑怯な虫にはなりたくない！（４） - 物語三昧～できればより深く物語を楽しむために
■メイド姉が目指したモノ〜世界を支える責任を選ばれた人だけに押しつける卑怯な虫にはなりたくない！ さて、『まおゆう』のメイド姉の詳細に移ってきましょう。 あっ、ネタバレ引用ありまくりなんで、読んでない人は読まないように！！！。 物語は、農奴で悲惨な暮らしをしている二人の少女が、魔王と勇者の住もうとしている屋敷に逃げだしてくるところから始まります。農奴の奴隷状態から逃げ出してきた二人のかわいそうな少女に、魔王の親友であるメイド長は「こんな虫けら、早く村に突き出しましょう！」と。これは、目的から逆算すれば正しい態度です。それは、２点から。一つは、魔王と勇者は、こうした悲惨なことがなくなるように「マクロ」のために立ち上がったわけであって、個々のミクロに関わっていては大局を見失う可能性が高く、また最後まで彼女たちを救うことができないのならば、むやみに手助けすべきではないのです。最後まで面倒を見れな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
