GPTが出した回答の確からしさを見えるようにしてみる - Taste of Tech Topics

皆さんこんにちは。データサイエンティストチームYAMALEXのSsk1029Takashiです。 YAMALEXは Acroquest 社内で発足した、会社の未来の技術を創る、機械学習がメインテーマのデータサイエンスチームです。 この記事はGPTでチャットボットを作ってみるシリーズ第3弾です。 第1弾と第2弾もぜひご覧ください。 acro-engineer.hatenablog.com acro-engineer.hatenablog.com 第1弾では、GPTになるべく正確な回答をさせるために、回答の情報を持つ文書を検索し、それをもとに回答を生成するという内容を試しました。 文書をもとに回答を生成することで比較的正確な回答を取得することができました。 ただし、この回答も必ずしも正確な回答とは限らないので、どれくらい信頼していいのかを自動で判定する仕組みが欲しくなります。 今回は第1弾のシ

[kachikachi2]

質問に答えるAI、答えが正確かどうかを判定するAI、その判定が公平か判定するAI、最終的には3つの個別のAIが必要になる

[nt46]

語尾に"知らんけど"を付けるのかと思った。

[newpopsmobile]

これは面白い。

[cartman0]

敵対的のやつの亜種みたいな感じか

[strawberryhunter]

誘導尋問みたいにすると嘘でも肯定を始める場合があるので本当に確かかどうかは内部だけで完結させられないのではと感じる。

[ite]

AIの出力をAIで判定するようになってきた。既に大抵の人間より良い出力をするし、大抵の人間よりも適切な判定ができるだろう。

[ytRino]

"前提文と仮説文が与えられたときに、仮説文が前提文に対して、以下のいずれかの関係であることを推論するタスク"

[yamada_k]

面白い。ただ、特定の使い方に依存している。

[asuka0801]

これは便利そう。画像認識のように生成した文章毎に確からしさの確率を取得出来るようになると良いんだけどね。

[ken10007]

めも

[shunkeen]

“含意関係の推測は比較的難しいタスクとされているので、この結果も完全には信用できません”／人間の私より精度高く判定していそうだが、そんな精度では満足できない感じ？この精度で十分な場面も多そう。

[dec123456789]

AI系のAPIって回答とともに精度のスコアを返す印象なんだけど、ChatGPTはそこまでしてくれないんかね？

[welchman]

とりあえず今は「全部、当てにならないものとする」が正しい判断だと思ってる。大規模で高度な言語モデルでしかない。

[gengohouse]

“GPTが出した回答の確からしさを見えるようにしてみる”

[door-s-dev]

いいね。適当に嘘つかれるより自信ないならそれが分かる答えの方が使いやすい

[opps_long]

MAGIシステムじゃん

[soyokazeZZ]

「ゲームの歴史」の確からしさを可視化できる未来に期待

[shidho]

どうなんだろうな。何質問して答えても、「本当にそれは正しいですか?」って聞くと、すみません、間違いが含まれていました、って全然間違いじゃない場所提示して答えてくるんだよなあいつ。

[misshiki]

“GPTでチャットボットを作ってみるシリーズ第3弾....今回は第1弾のシステムをもとに、システムが出した回答の信頼性を可視化する仕組みをGPT-3を使って検証”

[erya]

得られた回答に対して別のスレッドのGPTに○○って本当ですかって聞けばよいのでは？

[yoko-hirom]

引用箇所と引用元の明確化。将来は「論文形式で」と指定すれば出来るようになりそう。

[KenichiroMurata]

NLIでGPT-3をFine-tuningするの、これだけのデータ量ですできるの、というのがすごい。

[t_otoda]

👀