【文系でもわかる】ChatGPTのキモ「Transformer」「Attention」のしくみ
第1回は、さまざまなタスクをこなす万能型ジェネレーティブAIツール「ChatGPT」の性能の鍵を握る「トークン長（GPTが文脈を意識できる過去の単語数）」やGPTの歴史的経緯について解説しました。第2回はGPTを支える自然言語処理 の分野で使用される深層学習モデル「Transformer」とその根幹となる「Attention機構（そのタスクにおいてどの単語の重要度が高く、注目すべきか決める仕組み）」についてです。TransformerとAttention機構の仕組みを定性的に把握し、それを踏まえてGPTの能力と可能性について考察したいと思います。テクノロジー領域に明るくない人でもわかる記事を目指します。
対コロナで「雇用調整助成金」がまるで機能していないワケ、日本は何を間違えたのか
社員を休業させた企業に対して賃金の支払いを補助する「雇用調整助成金」の活用が進まない。同制度は、本来であれば雇用を守る最初の防御壁となるはずだったが、その役目を果たすことはできなかった。ドイツやフランスにも似たような制度があり、両国では有効に作用している。なぜ、同じような制度を持ちながら、こうした違いが生じるのだろうか。 加谷珪一（かや・けいいち） 経済評論家 1969年宮城県仙台市生まれ。東北大学工学部原子核工学科卒業後、日経BP社に記者として入社。 野村證券グループの投資ファンド運用会社に転じ、企業評価や投資業務を担当。独立後は、中央省庁や政府系金融機関など対するコンサルティング業務に従事。現在は、経済、金融、ビジネス、ITなど多方面の分野で執筆活動を行っている。著書に『貧乏国ニッポン』（幻冬舎新書）、『億万長者への道は経済学に書いてある』（クロスメディア・パブリッシング）、『感じる経
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
