ゴミ出しの問い合わせにＡＩが架空の部署案内、正答率は目標に届かず「市民向けには時期尚早」

【読売新聞】 瀬戸内海に面し、製造業や農業が盛んな香川県 三豊 （ みとよ ） 市。環境衛生課課長補佐の岡崎英司さん（５１）は昨年１１月、役所のパソコン画面を見て、嘆息した。 視線の先には、実証実験中の対話型ＡＩ（人工知能）サービス

[mangabon]

これは生成AIじゃなくてチャットボットにさせる内容。シナリオ組むのが手間だから生成AIにやらせようとしたのか知らないけど、ベンダが提案してたのならセンスない。

[n_y_a_n_t_a]

明確な正解がある質問にChatGPT使うとか意味ない

[table]

勘違いしてるブコメ多いが、三豊市と松尾研が国の予算取る事がゴールでゴミ出し問い合わせの解決はその手段だぞ。産総研がよくやる奴だ。関連記事置いとくぞ。https://www.nikkei.com/article/DGXMZO41893610Y9A220C1LA0000/

[deztecjp]

納豆パックが燃えるゴミでないのは異常なルール。いちいち洗って再生プラ用途として回収するのは完全に無駄だ。燃やす一択。……なんて判断を AI は学習データからするのだろう。人間の方が常識を押し殺して働ける。

[Gelsy]

合理的に考えて設置していて当然の部署を市が設置していないからAIが怒った。

[yas-mal]

隣の市の(!)架空の部署に連絡させたり、「モバイルバッテリーについて発火の可能性がある捨て方を表示」したり、なかなかヤバいミス。こんなミスが混ざるなら、目標にしてた99%だってかなり甘いと思う。

[ledsun]

生成AIはそれっぽい文章を作るのが仕事だから、彼らの生む幻覚を素人が見抜くのは不可能なのよね。今は、フィルターとして専門家を組み合わせるしかない。そのうち何か別のAIで対応できるようになるのかな？

[raideso]

ハルシネーションを防ぐには学習内容を限定して知らないことは知らないと答えさせるべきなのだけど、そうするとLLMを使う意味がない。チャットボットで十分。

[sds-page]

利用者の問い合わせに応じた検索システムへのクエリをLLMが考えて検索結果をLLMが多少装飾して返す形が無難そう

[steel_eel]

こういうのは大規模言語モデルではなくエキスパートシステムの出番でしょ？

[deep_one]

従来型のエキスパートシステムの方がいいと思う。…高いか。

[akyuna]

写真で問合わせる、とか判断の確度が90%以下の場合は担当者につなぐとかではだめなの？

[quwachy]

2年後に再チャレンジしてほしい

[psne]

何でも回答できるオッサン(アキネーター)の仕組み＝チャットボットが最適解だと思うやつ。市民の問い合わせ内容(あいまい/商品名→つまりこれでは？→捨て方)が蓄積できているなら、大体は答えられるはず。

[wushi]

ChatGPTでQAのスクリプティングだけで他の回答をチューニングすることはできるものなんだろうか。東大の支援した内容が気になる。ごみの分別の種類とかはルールベースにこそ向いているんじゃないかと思うのだけど。

[findup]

ルールベースでいけるっていうけど納豆のパックなんてレベルで最初から選択肢用意できるものなの？

[osakana110]

なんで明確な問いと明確な正当がある問い合わせにカスタムしきってない生成AI使うのよ。

[magi-cocolog]

それは誤答だって教え？た続きの会話で、平気で同じ誤答を繰り返すからな、生成AI

[houyhnhm]

そもそもLLMでクリアすべき課題なのかちゃんと検討しろよ。アホすぎるわ。

[srng]

溶融処理してる自治体のほとんどのゴミを普通ゴミに出せる分類なら安全側に振ればなんとかなりそうだけど、大半はそうじゃないしな。そういうとこは分類の悩みもないし

[rgfx]

？？？「ChatGPTが自社のFAQコンテンツを普通のWebサイト形式で提供してる、FAQの提供にChatGPT使ってないという辺りから察して、どうぞ」

[duckt]

「当初の６３％から９４％まで向上したが、それが限界だった」因みに市職員の正答率はどれくらいだろうか、などと意地の悪いことを聞いてはいけない。

[ucue]

ググレカス

[bakuhate]

データ量増やしたら精度が上がりました、理由はよくわかりませんっていうレベルの生成AIに特定分野の回答に完璧目指すなんて無理難題すぎるからやめてさしあげろ。幻滅期入ってる技術だと思うわ

[udongerge]

大規模言語モデルAIは文章の構造をなぞるのが仕事なので、知識として知らないことを訊かれると平然と嘘を答える。先に正確な情報を全部教えこんでから使うなら従来のチャットボットの方が安心安全である。

[moqojiy]

まるごと捨てたゴミを処理場でAIが分別して振り分けるようになるのが理想だなぁ

[snipesnaps]

これ正解解答があるならそれをデータベースにして、エンドユーザーからの質問を検索クエリにするところをLLMにする設計なら正答率上がると想うけど。

[aneet]

この話、去年同じのを聞いたような…何故また？

[tsuboty]

正解問答があるならチャットボットで良いと思う。GCPならdialogflowですかね。

[lluvias]

人間もわからないときに二択を当てずっぽうで答えたりするけど、AIの場合択が多すぎて致命的なミスにつながるからなぁ

[doko]

AIの理解の解像度が低いから活用を誤る

[clairvy]

人間が適応できてないので、それはそう、と思う

[attyan7639]

94%って、かなりだと思うけどね。人間でもミスはするわけだし。 #AI #香川県 #ChatGPT

[ku__ra__ge]

紙を切りたいという問題に対してチェンソーを使うようなミスだと思う。そんなん捨てたいものをテキスト一致検索して応答だせばいいじゃん……。

[Lat]

チャットベースで全部やろうとして失敗したのなら、ゴミ出しについて質問があったら、ゴミ出しについてまとめたURLを表示させるようにしてそれを見てもらったら良いだけなんじゃないか？

[kz78]

AIを使ってなんかやるのが目的で、実際の現場の課題に対してどういう手法が良いかを考えてAIを選んでるわけじゃないから、そりゃあね。

[Japonism]

家でAI君と遊んでる限りではふふふまた間違えた可愛い位ですむけど行政みたいな本チャンでやるのはないだろ……どうしてそうなった！

[verda]

そもそもopenAIもFAQに使ってないでしょ

[omega314]

これがAIや松尾研の実力、良くも悪くもただそれだけのこと。

[sabacurry]

松尾研と提携しての検証なんだからブコメに出てるような批判や代替案は折り込み済みなんだろうよ