ChatGPTのウソ回答に騙されない方法｜ふろむだ@分裂勘違い君劇場

ChatGPTから効率よく知識を得られた。 と自分では思っていても、それがウソ知識であることは、よくあります。 そこで、なるたけChatGPTのウソに騙されないようにする方法について書きました。 たとえば、今、僕はガリア戦争(紀元前58～50年)を舞台にしたSF娯楽小説の戦闘シーンを書いているのだけど、ローマ兵の剣の刃渡りの長さがわからないと戦闘シーンの駆け引きの描写がリアルにならないし、挿絵も描けない(プロの方にカラー挿絵を描いてもらうことになっている)。 そこで、以下のようにChatGPT(GPT4)に聞いてみた。 ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？ ChatGPT(GPT4)の回答は以下の通り： ガリア戦争に従軍したローマ兵は、主にグラディウスと呼ばれる剣を使用していました。グラディウスの刃渡りはおおよそ45センチメートルから60センチメートル（約1

[majikichi893]

先月冬の奥飛騨温泉郷の楽しみ方を聞いたら温泉と「真昼の味噌煮込みうどん」をお勧めですとか言われたのだけど、調べてもそんな料理ないんだよ。

[OkadaHiroshi]

ちなみに今Bingに「ガリア戦争に従軍したローマ兵の剣の刃渡りはどれくらいの長さでしたか？」と聞くとこのnoteが紹介された。仕事が早い。

[atohiro]

地元でお勧めの飲食店を聞いても、レビューの点数が高い店を聞いても、お勧め観光地を聞いても解答は全部架空の店や食べ物だったので、そんなもんかなと思ってる。

[apokapes]

特に歴史関係はぜんぜん信用できないな。勝手にストーリーを作ったりするし。

[inatax]

知識は一般常識を補完してくれる程度だと思って、基本的にChatGPTから新たな知識を引き出そうとしない方がよさそう

[gomaberry]

ChatGPTは知ったかぶるとこがあって、このあいだ「ラフテー」のレシピをたずねたら、うんちく回答の後、「ゴーヤーを入れます」とか言ってきた。ラフテーにゴーヤーは入れないさぁ～。

[MarvinParnroid]

ChatGPT(GPT-3.5)は知らない事は創作で回答する。BingChat(GPT-4)はソース情報が無い事や不確実性が高い場合には、その旨回答する。…と覚えておけば、普通は大丈夫。

[naoto_moroboshi]

複数のソースつってもその複数は結局同じソースを源流としてそう

[tuuz]

めんどくさすぎる・・・最初から研究者が書いた文献に当たるべき

[rryu]

なんか、だんだん専門家がよくやる一般ウケしない質問方法になっていくのがおもしろい。

[naggg]

2023年3月の記事

[y-mat2006]

塩野七生をベンチマークにしたのは単なるウケ狙いなんだろうか？

[tnishimu]

なんか作るのには向いているが、調べ物には向いていないのは既に分かりきっている事だが、何故かみんな調べ物をさせようと躍起になるんだよな。

[kei_1010]

bing ai使う時は最初から「どうせダメだろうな」と思いながら聞いてる。そしてダメな事が多い。プログラミングさせると割と使えるんだけどなー。

[robamimim]

熱海に行くの日帰り温泉を聞いたら「あたみの湯」をおすすめされた。なかったた。。。

[RIP-1202]

普通に第一人者の文献から当たったらいいんじゃないかな。

[quick_past]

Google翻訳だって鵜呑みにしてたら、とんでもない文を吐く。他人に仕様書書かせるのもそうだけど、書くよりチェックするほうが大変だし大事

[kuroi122]

わかってて塩野七生やWikipediaを参照してるんだと思う

[myrmecoleon]

学術的には実際に考古資料を参照してない回答は全部アウトだね。ちなみにChatGPTにガリア戦争の発掘品ある博物館聞いたらMuséoParc Alésia教えてくれたのでググったら剣の写真もあったよオススメ。学芸員に質問したら完璧ね

[mas-higa]

使う気になれない

[osugi828]

情報の裏取りを文字化するとすこぶるめんどくさいことがよくわかった

[kazkaz03]

信頼できる情報は信頼できる人の一次ソースから得るしかないという、昔から変わらぬ結論。wikipediaも以前は情報ソースとして信用してはいけないと言われてましたよね。

[denki5150jp]

ちょうど昨日文庫版の43巻を読み終えた人だけど、ローマ人の物語を典拠にしちゃいかんらしいよ。吉川英治の宮本武蔵と同じ歴史小説扱いだって。

[CavalleriaRusticana]

　なるほど、へりくつをこねなきゃならないのね。

[obsv]

“ChatGPTの「質問者の言うことを否定しないように回答する性質」を利用する方法だ。 つまり、質問から、極力、「暗黙の前提」を取り除くようにして質問するのである。”

[kamm]

調べ物をするというより仕事をさせる（考えさせる）方面で活用したいな。

[exciteB]

確率で喋ってるので事実を聞いてはいけないという話じゃなかったか。

[bigburn]

ChatGPTにゲームの歴史を書かせてみよう（センシティブな話題です）

[tick2tack]

“ChatGPT、塩野七生、Wikipedia、BingAIの厳密モード、の4つの情報ソースの回答がすべて一致した” Bingは中身ChatGPTだしBing見るとWikipedia参照が多いし、実質同じソース。MetaやGoogleのAIもWebがソースだろうしなあ…

[shikiarai]

でも人間はwikipediaに書かれてるとなんとなく信じてしまうのである

[gazi4]

信頼できる取材先を確保しておくのが作家さんの作法

[soh335]

“しかしながら、ChatGPTに騙されないようにするに”

[tmtms]

ChatGPT は今のところ「自分でちゃんと調べもせずネットで見かけた情報を自信満々に丁寧な口調で語るしったかぶり」くらいに思っておくのがいい

[ginpei]

ChatGPTに質問→自信ありげに回答→実在書籍で裏取り→他複数も当たる→さらに別の信頼できる情報源を当たる→本家研究者だけ異なる回答。多数に共通の見解と専門家が吟味した見解。

[Berimbau66]

コマネチ は日本の伝統的な遊びです って言われたんだが

[anqmb]

頑張って裏取りをしてみたかに見えるが、何人に当たっても結局カエサルが書き残したことについての権威主義的解釈という軛から逃れることは出来ていない。掲題のようなことを語るテーマとして微妙ではないだろうか。

[carrier_pigeon]

ChatGPT3.5はちりとちんを美味しい食べ物って言ってくれる見栄っ張り。bingさんはちりとてちんは落語って言うけど地方の名産とかはまだ存在しないものを創作してくる。

[furugenyo]

読みものとして面白いかもだけどよくわからないな。一次情報を見にいくのが歴史家の仕事だし、それは研究によってアップデートされる。検証自体がそれをしてないのでなんとも。

[mory2080]

コンピューターは間違ったデータを入力すると間違った答えしか出さない。って大昔からいわれてたんだけどね。間違ったデータ(ソース)は人間のもの。嘘つきは我々。

[taka-p]

めも。