大規模言語モデルの驚異と脅威

2022年11月にOpen AIが公開したChatGPTが世界で注目を集めている。一般ドメインかつ多言語で、従来のチャットボットとはレベルの異なる高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである。本講演では、ChatGPTがベースにしているInstructGPTを中心に、大規模言語モデルやプロンプト、人間のフィードバックによる強化学習などの技術を概観する。また、ChatGPTのような生成型の人工知能が社会やビジネス、学術にもたらす脅威について述べる。 https://aip.riken.jp/sympo/sympo202303/

[kato_19]

上位ブコメの『33ページのスライド資料。分かりやすい。』で33ページ目を見に行ってしまった・・・人間の言葉は難しい。

[misshiki]

33ページのスライド資料。分かりやすい。

[kenzy_n]

言語は社会の根幹を成す。

[rawwell]

講演お疲れさまです。キャッチーでいいタイトル

[yarumato]

“nグラム言語モデル（深層学習以前の言語モデル）RNN型ニューラル言語モデル（2010）ニューラル機械翻訳（系列変換モデル）における進展　Transformerの登場(2017) Generative Pre-Training (GPT） ファインチューニング(2018)”

[shunkeen]

“高品質の対話をリアルタイムに実現するサービスを（Research Preview版ではあるが）無料で提供し、検索、金融、広告、教育、法務などの広範囲な分野の転換点となり得ることは、驚異的なことである”

[ryosuke-fujii]

東工大岡崎教授による大規模言語モデルの解説。技術的な解説が難しいが、何回も読んで頑張って理解する。

[tetsuyasato]

東工大岡崎先生

[hihi01]

脅威となるのはどの産業セクターなんでしょう。／改めて、産業へのインパクトを考えざるを得ません。たぶん、単純事務職が自動化できない肉体労働もしくは人へのサービス、ケアに移転せざるをえないのだと。

[auient]

嘘、バイアス、個人情報に注意。(計算資源と人的資源が必要なため)再現性と検証可能性が低い。

[ZAKIYAMA_degozaru]

上位ブコメに『33ページのスライド資料。分かりやすい。』ってあったので33ページ目を見に行ったら32ページで資料が終わってて『どういうことやねん！！！』と思ったら言語の難しさを主知らされた

[ledsun]

6億円あれば、GPT3のクローンまでなら作れるんだよね。経済産業省の予算で国産GPT3を作る基盤とか作るのはアリなんかなあ？

[eagleyama]

いいねこういうの読みたかった

[raimon49]

利用するのと違って作ろうとすると大量の計算資源と人的資源が必要

[echo-section9]

すごい、G検定で出る内容が本当に、最先端のAIモデルで使われてるんだなってびっくりした あの資格、本当に役に立つな、、、素晴らしい

[hirorinya]

歴史学び

[stealthinu]

流石にすごくよい感じにまとまってる。最近（2022年以降）に発展した技術についてもまとまっててわかりやすい。

[norimiso1]

背景の技術何もわからずすげーって言ってるだけなので、ちゃんとよみたい

[north_god]

あとで読む

[yamada_k]

「脅威」に関しては、学術への影響は紹介されているけど社会に対する脅威については軽くしか触れられていないので（スライド p.27 のみ）、一般の人が期待する内容ではないかも。

[blueboy]

　　母音モデルの胸囲　　　　　　　　　　　　　　　　　　　　　　　　　　　　　.

[popotown]

なぜか大言壮語モデルに見えた私は疲れている

[ite]

現状が端的にまとまっていて良い。さすが。

[endo_5501]

おお、前の動画で見た資料だ

[theatrical]

俺にとって今のところLLMsは魔法くらいよくわかっていないので、水力発電くらいには理解したい。

[kagehiens]

良さげなまとめになっていそう。