ChatGPTのコア技術「GPT」をざっくり理解する - Qiita

※本記事はOracleの下記Meetup「Oracle Big Data Jam Session」で実施予定の内容です。 ※セミナー実施済の動画に関しては以下をご参照ください。 本記事の対象者 これから機械学習を利用した開発をしていきたい方 機械学習のトレンド技術を知りたい方 なるべく初歩的な内容から学習したい方 はじめに Transformerの登場以降、著しい技術革新が続くここ数年、特にOpenAI社のChatGPTのサービス開始以降、おびただしい数の技術ブログや記事がインターネット上に存在する中、本記事に目を留めていただいてありがとうございます。 この勉強会では、専門用語や難解な公式を極力排除し、初学者の方々を対象に、「そもそも自然言語の機械学習ってどういうもの？」、「言語モデルって要するに何？」というところからGPTをざっくり理解することを目的としています。従って、本記事に記載のあ

[T-norf]

GPTはTransformerのデコーダだけでできてるので、そこは間違い。Self-Attention機構で「（ノードの）位置」に囚われずに「（ベクトルとしての）値」の関係性を学習する機構をマルチヘッド×多層持ってるのが構造面での本質かと

[inose660]

『OracleもIaaSからSaaSまで総合的にクラウドサービスを提供しております。本日ご紹介したGPTやBERTも弊社クラウドサービスの一つであるData Science Serviceの上で稼働させることができます。他社様と異なりPaaSとしては完全無償』

[sumiemon_jp]

“この”

[shunkeen]

こんなに丁寧な説明のある資料はあまり見かけないので頭が下がる。レベル感にもよるけど、もっとざっくりした資料も欲しくなるなぁ。。。ChatGPTに要約させればいいのか。

[abiruy]

あまりにも堂々と機会学習と出てくるので、本来はこの漢字が正しいのだろうかと調べていたら中身が全く頭に入ってこなかったのでGPTに聞いてみようと思います。

[isrc]

Transformerの論文を見ると、まず目を引くのが下図。この図を読み解くことは、Transformerを理解するうえで避けて通れません。 非常に難解な図ですが、ここでは、ざっくりと理解する

[ShimoritaKazuyo]

理系出身の非エンジニアにはちょうどいい説明だった。アルゴリズムやコードの細かい部分はあまり重要じゃなくて原理を知ることが非常に役に立つ。言語の推論をしてるに過ぎないと知るだけでもAIへの接し方は全然違う

[blueboy]

　この方法は英語の方法なので、語順が大事で、助詞がない。日本語は語順はどうでもよく、助詞が大事だ。日本語に特化した GPT を使わないと、まともにならないぞ。／ パーセプトロンの話がないと、原理が不明瞭だね。

[lyiase]

この人なのかOracleのせいなのか分からないけど、ターゲットと話しぶりが一致してないし、コードは理解しているが概念は理解してないのかなって思う説明が多数ある。このハンズオン上手く行ったのかな…？

[finefinethankyou]

transformerのモデル図の概要を理解するのに分かりやすかった

[nlogn]

機会学習とは？ネタなのか？

[kotaponx]

やたら「機会」の文字が出てくるので、頭に入らない……♪チャンス！チャンス！ユー・ガッタ・チャンス！！♪