機械学習の説明可能性（解釈性）という迷宮 - 渋谷駅前で働くデータサイエンティストのブログ

ちょっと前に、しょうもないことを某所で放言したら思いの外拡散されてしまいました。 機械学習の説明可能性（解釈性）、大半のケースで求められているのは厳密な分類・回帰根拠ではなく受け手の「納得感」なので、特に実ビジネス上は説明可能性に長けたモデルを開発するより、納得できないお客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業ピープルを雇う方が重要— TJO (@TJO_datasci) 2019年11月23日 これ自体は与太話なので実際どうでも良い*1のですが、最近色々な研究や技術開発の進展はたまた実務家による考察などを見ていて、「機械学習の説明可能性（解釈性）というのは思った以上に複雑な迷宮だ」と感じることがままあったのでした。 ということで、今回の記事では僕のサーベイの範囲でザッと見て目についた資料などを超絶大雑把にリストアップした上で、主に実務における説明可能性とは何かとい

[jo_30]

今はビジネスの話だけど、将来法律とか社会を構築する基礎の部分にＡＩを入れ込むときに「説明可能性」が大きなネックになる。その場合、社会全体の理解が得られなければ詰む。

[mkusunok]

ブラックボックスという点では、人間知性でさえそうなのであって、知能と説明可能性を同時に求めるのは間違っていて、開発と評価のプロセスとその根拠を説明できれば十分とはならないのかな

[chuujou]

説明可能性はデータ収集時のミスに対する担保。きちんと精度評価したはずなのに、、、そもそも集めたデータが偏ってましたとか、う、これ以上思い出すと頭が、、、この絵を見て何度も自分を戒める https://bit.ly/38T11CB

[eru01]

原先生のpptって公開されてたのか。講演聞いたけどわかりやすかった。けどそもそも説明可能性って要らんくない？必要な正解率達成できてりゃいいやん。アホなExecutiveの脳味噌より賢いからよ、そのモデル

[zu2]

自分の思考ですら正しく説明できるとは思えない / 囲碁の着手は説明可能か？ 将棋は説明できそうな気がする、なぜだろう

[peterpansyndrome]

説明不可能なものを不可能なまま受け入れるということは宗教性を強く打ち出さずにおおいなる力を認める日本人のマインドに他国よりマッチしそう。社会的に先にAI受け入れルールを他国より整備すれば勝てる（勝てない

[yasyas]

画像認識系とかだと設営可能性とかはどうでもいいんだけど、数値系で社員の退職リスクとか予想するやつだと、予想されたところで「じゃぁどうすりゃいいのよ？」ってなるわけで、説明可能性が致命的な時がある

[muchonov]

良い写像の生成と利用には必ずしも概念を必要としない（写像が画像を概念に引き当てるのは全く別の話）けど、人間の世界解釈には概念が必要なので、前者を後者が理解しようとするとどうしても解像度が落ちるんだなと

[rjj]

CPUのアウトオブオーダー実行やコンパイラのコード最適化に説明可能性を求める人が果たしているか、という話。

[pecan_fudge]

先日特許情報フェアで教師有り学習で分類するツールをいくつか見たが選んだ根拠を表示させる機能を新たに盛り込むのが今年の流行／背景にこういうことが有ったのか／研究者のスライドでもいらすとや大活躍に驚くなど

[jusuke]

“線形分離可能パターンには線形モデルを使おうがDeepを使おうが性能にほとんど差は出ないわけです。”

[Horiuchi_H]

“「ヒトが直感的には理解できないような構造の学習データに対しても多層モデルによって柔軟に対応して優れた当てはまりを実現できる」”

[burabura117]

“ヒトが理解できるのはいわゆる「弾力性」*2とか「ルールベース」が関の山であり、これを機械学習モデルに置き換えると所詮は（一般化）線形モデルもしくは決定木（回帰木）止まりになる”

[cruller]

自分的には量子力学の解釈問題的な

[shunk031]

機械学習モデルの予測に対して、人間は「説明」じゃなくて「納得」が欲しい説はとても分かる。次やる研究も納得度みたいな指標にフォーカスしてもいいかもなぁとも。

[hylom]

最後の「説明可能性を求めるのは止めろ」というのはよく分かる。判断理由の説明が重要なところで使うなら、結果を人間がレビューする運用にするのが必須だと思う

[hihi01]

これ重要。

[ma38su]

経験上、やりたくない人が説明を求めているという印象。考えるべきは、検証やバックアップだと思ってる。信じすぎない、というのも大事だけど。

[htnmiki]

99%の人類には冒頭のツイートが最重要だろうなあ

[khtokage]

id:zu2 私は（どっちもヘボだけど）囲碁の方が先だったので、将棋は論理的だと思いましたね。何がどうなるからこの手は良くないとはっきり指摘出来る。囲碁は局地戦の負けに繋がる細かい所以外は感覚で行けるので。

[occam_6879535]

上司「なんでこうなったのか説明しろ！」 AI「ふぇぇ…」

[circled]

Google翻訳は50万行のコードで書かれていたのに、機械学習導入後は500行のコードに収まるようになったので、そういうの説明するんの無駄だと思うのよね。 https://bit.ly/2Menoss

[gnety]

重大な問題が起きたときに修正できる確証がないということだから、説明できないってことは

[dlive1]

正論「大半では厳密な分類・回帰根拠ではなく受け手の「納得感」なので、実ビジネス上は説明可能性に長けたモデルを開発するより、お客さんを巧みに関係性構築した上で口八丁で完璧に説得できる凄腕営業が重要

[nanika-sheila]

説明はいつだってヒューリスティック

[isrc]

ヒトが理解できるのはいわゆる「弾力性」*2とか「ルールベース」が関の山であり、これを機械学習モデルに置き換えると所詮は（一般化）線形モデルもしくは決定木（回帰木）止まりになる

[n_231]

迷宮だよなー基本戦略に名前がついていればそれで済む場合もある。納得するのは個々人なので、個別のカウンセリングが必要になるだろう。

[Insite]

この赤い薬飲んでみ、今まで儂が教えたことはかなり上手く言っとるから

[houyhnhm]

多分過程の説明可能性を省くと、突っ込むデータの品質とか問題になっては来るだろう。

[sds-page]

人間の直感の根拠を説明させる話

[hobbiel55]

「モデルの解釈性としてはその真逆で「ルールベース＞線形モデル＞決定木＞……＞SVM＞アンサンブル＞Deep Learning」だと言っているわけです。」

[lifefucker]

SHAPいいよね

[zgmf-x20a]

最近思うのは「可視化」かな？