GPTの仕組みと限界についての考察（１） - conceptualization
GPT4が登場してChatGPTが盛り上がってますね。 本記事は、GPT（を支えるTransformerという仕組み）をChatGPTユーザにとって分かりやすく説明し、その能力と限界についての見通しをよくしよう、という趣旨になります。 少し長くなりそうなので、全部で記事を3回に分けようと思います。 （１）大まかな背景と概要：本記事 （２）GPTの能力と可能性：実際の使用例とTransformerの仕組みを踏まえて説明 （３）GPTの限界と未来展望：Transformerの仕組みが持つ限界と研究の進展を予想 GPT3と4の違い： トークン長とは何か？ まずここから話を始めます。GPT-3は、パラメータ数が750億個（850GBの容量を食う）でトークン長が4097(GPT-3.5)でした。GPT-4は、パラメータ数は非公開でトークン長は32768ですので、ちょうど8倍になります。 さて、トーク
働きながら情報系の大学院を修了した｜父
2022年9月末で北陸先端科学技術大学院大学の博士前期課程を修了し、修士（情報科学）が授与された。働きながら通い始めて丸3年かかった。 学位記。大変だったので嬉しい…とても大変だったので学位記が届いたときは万感の思いだった。ただ、このエントリを書いたのは「すげえだろ」とかそういうのとはどちらかと言えば真逆の感情で、僕の修士課程がどのくらい低空飛行でどのくらい誰にでもできることなのかを詳らかにして同じような境遇の人を鼓舞することが目的だ。そのために敢えてみっともない、見栄を張りたいなら書く必要のない恥まで含めてある。学位というものに一抹の未練がある人は是非読んで欲しい。 筆者について進学時36歳、修了時39歳。 職業はソフトウェアエンジニア。2児の父。4流大の文学部卒。 暇な人は過去のエントリに詳しいが、別に読まなくても構わない。 入学まで僕が大学院進学を決意したのは元同僚で友人のさのたけと
あるソフトウェア工学者の失敗 日本のITは何故弱いか
このドメインは お名前.com から取得されました。 お名前.com は GMOインターネットグループ(株) が運営する国内シェアNo.1のドメイン登録サービスです。 ※表示価格は、全て税込です。 ※サービス品質維持のため、一時的に対象となる料金へ一定割合の「サービス維持調整費」を加算させていただきます。 ※1 「国内シェア」は、ICANN(インターネットのドメイン名などの資源を管理する非営利団体)の公表数値をもとに集計。gTLDが集計の対象。 日本のドメイン登録業者(レジストラ)（「ICANNがレジストラとして認定した企業」一覧（InterNIC提供）内に「Japan」の記載があるもの）を対象。 レジストラ「GMO Internet Group, Inc. d/b/a Onamae.com」のシェア値を集計。 2023年5月時点の調査。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
