ChatGPT 雑感 - murawaki の雑記

ChatGPT についてポエムを書き散らすのが流行っている。珍しく流行に乗ってみる。機会を逃すとまた状況が激変しそうだし。 研究者の YouTuber 化 ChatGPT は研究者が想定していた成長曲線よりも上に外れたところに現れた。こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。なぜ日本語まで流暢なのかはいまだに謎。 ChatGPT はテレビでも取り上げられるくらい一般に認知されているらしい。複数のテレビ取材に応じたという人がいたのでそうなのだろう。*1 私の観測範囲で起きているは、参入者が大勢いること。これまで自然言語処理をやってこなかったであろう人。従来の技術よりも圧倒的に敷居が低い。そもそもプログラムを書く必要がない。自然言語で指示を出すだけなら誰でもできる。 ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多い

[north_korea]

今修論博論で書いてる分野がChatGPTによって解決してしまった人達の気持ちを考えると…

[elm200]

自然言語処理研究者によるボヤキ。私も少しだけ自然言語処理をかじったので近い所感がある。

[mahal]

踊らされる、的なお話よね…＞「競合が多いということ。そしてこれまでの研究の蓄積が無力化されているということ。それでもって勝者総取り。こんなしんどい競争は嫌。まるで YouTuber。」

[tetsuyasato]

研究者の貴重な所感

[tacamula]

“教える際には体系化されたものが伝授されるが、教わった結果血肉化したものを人間は非体系的に運用している” ChatGPTは非常に高精度な一般論を言ってくれると思ってたとこなので共感。

[mugitora]

使ってみたとか、魔法だ、みたいなユーザ側に堕ちた記事ではなくこういう考察記事をもっと読みたい

[shunkeen]

ノーフリーランチ定理が自然言語タスクでも成り立つと仮定すると、大規模言語モデルのような基礎モデルが万能性を獲得するほどに何らかのトレードオフが発生してそう。特化型の軽量言語モデルの需要はいかほどか。

[Shin-JPN]

納得感。「己が知る複数の体系について適用領域を定めて分野毎に切替」という人間標準挙動(体系を持ってない領域=知らない)に対し,LLMは「高次元ベクトル空間という一つの体系を全領域適用」というだけで実は地続き？

[strawberryhunter]

私が使っている範囲だとロールなんかより文章の正確性の方がよほど重要で、それによって何の話題か特定しているように見える。あとChatGPTは今では間違いの古い回答もするので膨大な古いデータも読んでいる気がする。

[misshiki]

“ChatGPT の上で踊りたいかというと気乗りしない。参入障壁が低いということは、競合が多いということ。そしてこれまでの研究の蓄積が無力化されているということ。...こんなしんどい競争は嫌。まるで YouTuber”同意。

[l-_-ll]

「次に高確率で来そうな単語を出力してるだけ、マルコフ連鎖の応用」と解説してた人がいたけど、あの滑らかな日本語を見てると納得しづらい。そんな単純じゃないよね…

[spam_lover]

自由入力や→刺さるコマンド発掘したで→テンプレートにまとめるで→XMLで厳密化や→この時はこのテンプレート使いたいんや→ifっぽい何か→…ってアレ？これもうプログラ（ｒｙ

[haatenax]

今大学の自然言語処理系研究室ってどうなってるんだろう…

[yuichi0613]

“教える際には体系化されたものが伝授されるが、教わった結果血肉化したものを人間は非体系的に運用／テキストは世界を分割して伝えるための手段である一方で、混沌の中にある ChatGPT はテキストの世界に住んでいる”

[nemoba]

人と対話できるものから、人が操って対話させてるものどころか、モデルのポテンシャルをコントロールして引き出してるだけ。まで落ち着いたと思う方が正しい

[qpci32siekqd]

個人で研究していた物に、スパコンの計算能力と人力のデータセット構築では勝負出来ないよなと。レギュレーション違う所と比較されると辛いということかもしれんけど

[sho]

30数年前、超電導研究シーンが合金からセラミックに突然置きかわったときの、研究者たちの当惑を思い出す。研究とは、そういうものだ。ケセラセラ

[hazeblog]

たしかに "純粋な質問応答システムとして提示された場合よりも人間側の許容範囲が広がっている。さらに言えば、そもそも答えが一意に定まらない、探索的な用途で使うように人間が誘導されているようにも思う。"

[sds-page]

LLM本体の研究をする人と既存モデルのファインチューニングやる人が今後の主流になるのだろうか

[zgmf-x20a]

NLPは専門外だけど、多分そうなんだろうな。これをどうやって活用して成果を上げるかを検討しないといけない。

[clapon]

教師あり学習がそんなにいらなくなるなら、機械翻訳の精度を上げるために人間がデータセットとなる翻訳をチェックして修正する膨大な作業がいらなくなるなあ（そういう仕事をさせられてる翻訳者もたくさんいるので）

[fluoride]

“複雑さに対する人間の答えは体系化。物事は分割され、それらは階層的に整理される。体系化は人間の能力の限界に応じたものだろう。ChatGPT はこの限界から解放されているのだろうか? ”

[Eiichiro]

ChatGPTは体系化されたものを学んでいるが、応答は体型カバーされていない。chatGPTが教師にはなれないということなのかな？ 体系化できない者同士で学習し合った場合に、知の劣化が進んでいきそうではある。

[shingo-sasaki-0529]

これまで積み上げてきた努力で成り立ってきた世界が、なんの専門知識もない人がプロンプトエンジニアリングだの言うだけで勝ち馬に乗れる世界、なんか嫌だなぁ。

[augsUK]

確かに直近での自然言語処理研究界隈は、解決すべき課題自体を相当失ったのだな。

[irimo]

google検索で二つ目以降の予測候補でだいたい補えるように、質問の回答に使うAI回路はだいたい決まっているのかも

[dazz_2001]

自然言語としては優れているけど、検索結果として使えるかはかなり微妙な感じだけど、GTP4を使ったりすると印象が変わるのか？

[yarumato]

“こんなに流暢にテキストを生成するモデルがこんなに早く出現するとは思わなかった。日本語まで流暢なのは謎。ChatGPTの上で踊るのは気乗りしない。参入障壁が低く競合が多い。しんどい競争は嫌。まるでYouTuber”