「正答率62.5％→94.1%」に改善も...三豊市 “チャットGPT” を使ったゴミ出し案内 実証実験の結果、導入を断念【香川】 | TBS NEWS DIG

香川県三豊市は、今年6月から東京大学大学院と実証実験を進めてきた「チャットGPT」を使ったゴミ出し案内の導入を断念すると発表しました。三豊市では、東京大学大学院工学系研究科の松尾研究室と協力して、今年6…

[takashi_kun]

94.1%まで行ったことがすごい。目標値はともかく真面目にPoCをやらないと使えるものも使えないので、頑張ってほしい

[mazmot]

正解が一意に定まるデータベースの処理にChatGPTを使うのは筋が悪かったんじゃなかろうか

[rectus]

これはさすがに目標値が高すぎた気もするけど、実証実験はあくまで使えるかどうかを確かめるものなので、想定していた水準に届かないことがわかった、も実験の成果ではある

[sds-page]

99％は目標として高すぎるとは思わん。マイナンバーだと登録件数8000万枚で誤登録8000件だとして99.99％正確でも問題になってるでしょ

[Yutorigen]

人間のゴミ分別正答率が94%もあるだろうか。それを上回れるなら現状より改善するかもしれない。

[nattou_frappuccino]

ブコメに99%なんて高いだろっていう意見が多いけど、その水準に何かを言うのは違うかと。誤分別による焼却炉などへの損傷とかもあるし、損害が出た時の費用は税金ですよ。

[otchy210]

正答出来なかった 5.9% の内訳が問題で「分かりません。担当者に聞く窓口はこちら。」だったらいいけど、たぶんハルシネーションなので、行政の公式回答としてはマズいっていう事だと思う。

[TakamoriTarou]

わかりませんと答えるならともかく、誤解答を返すなら99％は実用最低限だと思うんでやむを得ない

[KoshianX]

導入の条件が正答率99%ってその目標値がいくらなんでも高すぎなんじゃないの。94.1%って十分実用に思えるけど。むしろどんな間違いを出力したのかが気になるな

[TETSUYA01]

この国で新しいサービスが生まれないのがよくわかる。こんなんだから生産性が落ちてどんどん海外に負けていくよ。

[zakusun]

今までの正答率と比較してどうなん？そもそもこの判断自体が日本の労働生産性の低さの原因の一つと思う。その数％を向上させる事によるROIはいくらなん？ってこと。いや、それが良いとか悪いとかじゃなく意識してる？

[bxmcr]

まるで本当のような嘘をつく、って言う性質が実用面で足枷ですねー……

[dirtjapan]

決定的に欠けてる能力として、「わからないことをわからないと言える」という能力が欠けている。これさえクリアできれば実践で使える。けどここのハードルは高いよのな。

[djkaz]

今朝あがってた「失敗を許容するフィンランド　ゆとりなき日本への教訓」の内容そのままだね。「日本では、一部のエラーを問題視して全体が止まる。フィンランドではある程度の失敗を許容し…」というお話。

[takilog]

この要件でなんでGPT使うのか理解できないな。ビジネスセンスが根本的にないか、ちゃらい最新技術使いたかったぐらいですか？

[objectiveworker]

生成型AIより、古典的なルールベースのエキスパートシステムの方が向いてるんじゃない？

[zzzbbb]

ところが、実際の職員に回答させたところ、正答率が82%だったことがわかり、急遽採用を決定しました。とかなら良いのになー。

[kz78]

お役所なので最初に設定した数値目標を満たせないと採用は難しい。お役所相手に仕事するときはここは絶対。

[tuka8s]

私よりも優秀そう。公開して欲しい。写真でできたらなお嬉しいけど、より難しくなるんだろうなぁ

[door-s-dev]

導入前が検索しても出てこない状態なら導入後の方がありがたいけどなぁ

[ichiken7]

それくらいゴミの分別って、ややこしいんだよな

[ginga0118]

重要な部分は改善が出来ると言うこと。

[kujoo]

へえ。品名やパーツなどからのゴミ種類（資源分類）分け→場所や日時（必要があれば申請方法などの）ゴミ出し案内となるとなかなか大変そうだが、たしかに面白そうな題目だ

[nekonyantaro]

そもそも99 ％が期待されるような事案にAIを使おうとする方が間違っているような気がする。「数パーセントの誤りが許容される対象を省力化する」というのが現状で適切な用途では。

[steel_eel]

なんでもかんでも最新技術使わなくていいんですよ案件かな。

[instores]

ボット側から質問攻めして特定していくのがAIの使い方。

[yuyans]

もう一段進化したら普通にクリアできそうじゃんね

[aoetom2828]

人間は99%を超えてるんだろうか？

[myr]

マギシステムみたいに3つbotがあれば正答率上げれないのかな

[alph29]

現状人間のゴミ出しが何%正しく出されてるかによっては、結構意味ありそうだけど / 役所の業務代行としては、まぁ精度必要だよねとは思うが

[keys250]

と言いながら、人手不足により導入するっしょ！

[seal2501]

全部LLMにさせようとしないで、自然言語から分別対象のゴミの単語抽出してもらって、それをDB参照するプラグイン仕込んだらもっと正解率上がりそう(そこまでやってこれだったのかもしれんが

[sekreto]

AI開発するんじゃなくって、どんなゴミでもだせる（分別を気にしなくてよい）ってなると思考が楽

[mouki0911]

普通は要件聞いた時点で受けないんじゃないの。なんか別の理由あるんかな。

[dec123456789]

そもそもこれは松尾研が無理だって言わないと。これほどの正確性が求められるシステムにはAIは向いてないって松尾研なら当然わかるはずだろ。

[akulog]

よくみたら「チョットGPT」っていうパチもんだったんじゃね？

[eggplantte]

適切な説明が書かれたページにAIが案内するのがいいかもね。市役所のHPって自分に合った情報を探すのが一番大変だから

[okemos]

公共の案内だもんなぁ。5.9％の間違いでどんだけ文句がくるかを考えたら、導入は躊躇するだろうな。

[eggheadoscar]

ゴミ出し案内はまあ無理そうだが、「粗々でいいから一旦仕分けする」というプロセスが効力を発揮する業務に関しては十分使えそうね

[tomoyarn]

そもそもゴミ出しルールが難しすぎる定期