【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
プレステの父・久夛良木健氏が「Web3は虚構に過ぎない」と断言する納得理由
1975年電気通信大学卒、ソニー入社。ソニー・コンピューターエンタテインメントを設立。「プレイステーション」の開発を指揮、同社会長兼グループCEO、ソニー副社長兼COOを歴任。サイバーアイ・エンタテインメントを設立、代表取締役社長。アセントロボティックスCEO代表取締役。楽天株式会社社外取締役、電気通信大学特別客員教授、東京理科大学上席特任教授、近畿大学情報学研究所客員教授などを経て、2022年4月より近畿大学 情報学部学部長。 実体のないままに進むWeb3議論 最近「Web3」が注目を集めています。2022年4月に近畿大学が新設した情報学部長に就任し「イノベーション」をテーマにしたゼミを開講していますが、ここでは「Webを現在の中央集権的な巨大プラットフォーマー中心の世界からNFTを活用して解き放ち、より民主的なものに進化させようとする動き」と伝えています。 しかし、この説明は、学生たち
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
