ChatGPTでの業務効率化を“断念”──正答率94％でも「ごみ出し案内」をAIに託せなかったワケ 三豊市と松尾研の半年間

「ごみ出し案内」業務にはChatGPTを“活用しない”と決断した──生成AIを使った業務効率化を検証してきた、香川県三豊市がそんな発表をした。ChatGPT登場から1年がたち、今や職場に導入する企業・自治体も増え、中にはすでに一定の成果を出した事例もある。三豊市でも、ごみ出し案内業務の効率化を図ろうとしたが、思うようにはいかなかった。 今回の事例では、日本のAI研究の権威である松尾豊教授の「東京大学大学院工学系研究科松尾研究室」（松尾研）も協力。約半年間、実証実験に取り組んできた。なぜ、三豊市ではChatGPTを使って業務効率化できなかったのか。三豊市に話を聞いた。 なぜ、ごみ出し案内をChatGPTに託したのか？ 三豊市が実証実験を始めたのは6月1日。サービス内容は「市民からのごみの分別や収集日に関する問い合わせに対して、三豊市のごみに関する学習をしたAIが24時間自動応答する」というも

[nakex1]

「役所に問い合わせたらこう言われた」は独り歩きしてしまうこともあるので，少なくとも担当部署の職員レベルの精度は必要。

[mogmognya]

実際に市民が99%の精度で分別できているとも思えないので、なんかもったいないような気もするな。

[red_kawa5373]

これが全部無料なら別だが、ChatGPT使うのも、それなりに金がかかるし、何より20回に1回間違える精度で、果たして業務の負担が減るのかどうか。間違えたときのフォローとか考えたら、どっこいどっこいでは。

[ytRino]

ルールベースで処理したほうが楽そう

[nononosaki]

AIで対応できるような問い合わせって元々ユーザーが自分で解決できるようなもので、難しいケースに直接対応する職員の手間はAIによってあまり減らない、という印象。

[urandom]

話題のAIを採用しませんかという売り込みに引っかかる組織が陥りがちな罠で、職員の代替にはならないのでコストは下がらず、スクリーニングなら従来の手法のほうが低コストで確実。意思決定層のITリテラシ大事。

[lainof]

AIが簡単に正解を出せるようなケースはそもそも問い合わせてこないから、94%じゃ問い合わせが減らないって感じかな？

[Aion_0913]

携帯屋とかもそうだけど実は知的介護職みたいな感じで日本語外国語に限らずきちんと相手に伝えられない人の傾聴からの介助介護まず必要だからね…。コスト凄いからそれをして欲しかったんでしょ。

[flirt774]

試行錯誤の過程が詳しく知れておおむね適切だったと思うけど、94%をAIに答えさせてもなお職員の負担が減らないとすればこの実験が適切だったのか疑問が残る。だとすると正答率ではなく複雑な質問への回答が必要と

[ardarim]

実証実験をしてちゃんと成果も出ているのだからやった価値はあったのだと思う。導入には繋がらなかったがこの手の業務には向かないという知見は得られた。

[dnasoftwares]

" 役所の回答ではなく、役所が紹介したサードパーティーの回答"だとしても「役所の紹介なんだから」と100%を求められるだろうし、まあ人が減らせなかったというなら駄目だろうなあ

[eagleyama]

“三豊市では本格導入の条件を“正答率99％”としていたため”

[kumicit]

これが、日本（の特にお役所）でAI導入が進まない最大の理由であり、ITが高コストになる最大の理由でもあるだろう。

[kamm]

“漫画アプリ「マンガBANG」の連載作が突如終了 原因は運営会社の“不手際” 「覚悟が足りなかった」”

[k-takahashi]

"これにより“結局職員の負担は減らない”と分かったことも判断の理由"　まあ、これは分かる。ルールが複雑過ぎというのもあるかも。

[JULY]

この記事より前に出ていた第一報の記事でも「99% は高すぎる」というブコメを見かけたけど、「自治体の回答」と「近所の人の回答」で求められる回答の質が違う事を理解できない人が多いなぁ。

[otchy210]

全ての答えが書いてあるページじゃなくて、細分化された回答のページを用意して、AI には回答そのものじゃなく「このページを参照して」と言わせれば、致命的な間違いは避けられるのでは？

[masadream]

PoCで期待効果を事前に決めておく重要性。できないなら松尾研との取組であろうと中止すべきだった。勝ちに不思議の勝ちあれど負けに不思議の負けなし。

[fhvbwx]

役所の回答ではなく、役所が紹介したサードパーティーの回答ということにすればみんな幸せだと思う。/あえて言うと最初から分かっていた結論な気がするので、なにかがおかしい。

[santo]

これ、人間の担当者は(急いでいるという業務プレッシャー含めて)何パーセント正解するの？

[operator]

職員の回答するのに数時間要する場合があるということは前例がない問い合わせがあるってことでしょ。AIが上手くできるのは大量の前例があるケースだから、システム化は無理なんじゃない？

[findup]

ゴミ出しって難しいよ。中に電池含むかとか、素材で金属が多いのかプラが多いのかとか大きさとか危険物が含まれてないかとか要素が色々ありすぎる。全部燃やせば良いって物でもないと思う。

[nilab]

「三豊市では本格導入の条件を“正答率99％”としていたため、今回ごみ出し案内へのChatGPTの導入は見送られることになった」

[aya_momo]

無理でした

[Gim]

識字率９９％ぐらいだと、パンチャ－のほうが安くて正確といいう事例もある。また９９％こいつが犯人ってのは、1000件で10人は冤罪と同義。

[Shinwiki]

この内容ならふつうにDB検索して翻訳通せばいい気がするけど

[minorleague]

せっかく人とお金をかけて実験したんだから誤回答のケースを公表してくれないかな？どんな例外的な質問に対してどのように間違えちゃったのか？今後似たような実験をゼロから全国の自治体でやるのも無駄だよね。

[retore]

全部燃やせば解決するのでは？

[buhoho]

"日々5～10件程度のごみ出しに関する問い合わせがあり、その内容によっては業務として数時間要する" 人間が数時間かかるグレーな問題をAIが解けるとは思えない。これ人間でも99%正解してないのでは。

[secseek]

99%なんて現代のAIでは到達不可能なのはやる前から自明ではないでしょうか。94%でも例外的に高い方かと。ディープラーニング協会の資格試験の合格水準が70%でしたよね

[yoshi-na]

とりあえず、入り口は一般的なChatbotで作って振り分けすれば良いのでは？

[u4cniics]

松尾研にGPT活用のノウハウがそれほど溜まっているわけでもないので、教師用データを一般公開してコンペ形式にしたほうが良い成果出たのでは？　賞金100万円とすればやる人多そう。

[Mofuyuki]

精度の残り数%を許容できるかどうかがDXの分かれ道だなあ。

[gsggyhig]

失敗の代表例になったのではないかと。これからはこの例が擦り倒される

[vegnpomn]

生成AIじゃなく商品名と捨て方が一対一なビッグデータを人力で作るみたいなのがいいんだろうな。でも自治体によって分別ってバラバラだから、膨大なコストのわりに汎用性ないんだよな。まず統一から始められないか？

[PikaCycling]

自腹でHPとマニュアルの内容をデータベースにしてchat GPTに学習させてみたけど、ピンポイントに正確な問いでなければ本当のようなウソを回答するので使い物にならなかった。機械仕掛けの詐欺師という印象しかない。

[lli]

"誤った回答をしないようにAIが答えられない回答や、不安のある回答については「環境衛生課へお問合せください」という文言を表示していた。これにより“結局職員の負担は減らない”"それは違うんじゃ？

[schoollife]

合ってる合ってない以前に、ChatGPTの回答が間違いだった時の責任を誰が取るのか、って話なのではないか？

[xufeiknm]

なんちゅうか。にっぽんやなぁ。くだらん所で衰退衰退騒いでないで、こういうとこなんとかしようや。

[debabocho]

95%の精度のAI回答機、例えば20回に1回案内を間違え続ける市職員、あるいは市内2万世帯のうち1000世帯が間違ったゴミ出しをし続けると想像すると（どれも正確な対比ではないが）、使う側としてはうーんと思ってしまう。