ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間

「AIは万能ではない」 正答率99％を本格導入の条件にした理由を三豊市に聞くと「ごみ出し案内は正確性が特に求められる。AIが間違った案内をしてしまうとその案内に基づいて行動した市民や収集業者などに迷惑が掛かる。職員でも即座に回答できない問い合わせはあるが、時間をいただき調べてから正確な情報を回答している」と話す。 「AIには少なくとも職員と同等のレベルを求め、それに達しない限り対市民向けとしては導入できないと考えた。また、AIがどのように回答したかを結局のところ職員が確認する作業が伴い、正答率が低ければそれだけ確認する頻度も上げなければならない。100％は無理としても99％は譲れない条件だった」（三豊市） 今回の実証実験を経て、率直な感想を三豊市に聞くと「AIは万能ではないということが分かった」と語る。 「市役所業務の中で、1番の懸念である個人情報漏えいの恐れがなく、かつ市民の利便性が高い

[ys0000]

8割正確に返答して、2割は職員回答とかでも、十分に業務効率化に貢献するのよね。不正確な回答をゼロにして、わからんのはわからんといえるのが理想。ハルシネーションが厄介。

[dbfireball]

こういうトライは誰かがやらないと分からない事なので良い事。AIが更に発達した時に生きる知見だと思う

[anigoka]

セルフレジ監視員のジレンマだったか　やっぱ今のGPTv4レベルのAIはブレストに使うのが最適だな

[rna]

AIが自分にはわからないって自覚がある質問だけ職員に回して、回さない回答については99%以上正答、ってなればよさそうだけど、そこは難しいのかな。市民の分別の練度が高くて難しい質問ばかり来るとそれでもダメか…

[misshiki]

“誤った回答をしないようにAIが答えられない回答や、不安のある回答については「環境衛生課へお問合せください」という文言を表示していた。これにより“結局職員の負担は減らない”と分かった”

[a96neko]

複雑化したゴミ出し案内でChatGPTの導入検討はハードルが高いので、難易度が低い業務でChatGPTの導入検討した方がいいよ

[gwmp0000]

"正答率99％を本格導入の条件にした理由を三豊市に聞くと「ごみ出し案内は正確性が特に求められる。AIが間違った案内をしてしまうとその案内に基づいて行動した市民や収集業者などに迷惑が掛かる」"

[raebchen]

「さんあーる」でだいたい何でもわかるけどなあ？😳 https://delight-system.co.jp/threeR_HP/

[nilab]

「AIがどのように回答したかを結局のところ職員が確認する作業が伴い、正答率が低ければそれだけ確認する頻度も上げなければならない。100％は無理としても99％は譲れない条件だった」

[shodai]

“また、誤った回答をしないようにAIが答えられない回答や、不安のある回答については「環境衛生課へお問合せください」という文言を表示していた。これにより“結局職員の負担は減らない”これはこれで知見