「説明可能なAI」に欠陥、少数派の扱いが不公平になるとMITが指摘する根拠は？

マサチューセッツ工科大学（MIT）は2022年6月1日（米国時間）、機械学習の予測を信頼するかどうか、ユーザーが判断するために用いる「説明モデル」に問題があると発表した。 機械学習の対象データとなる人々のうち、社会的に不利な立場にある人々で構成されるサブグループについては、精度が低くなる可能性があるという。 機械学習モデルは、意思決定支援に利用されることがある。例えば、「どのロースクール志願者が、司法試験に合格する可能性が高いか」をモデルが予測し、ロースクールの入試担当者がその予測結果を、（ロースクールの合格実績を高めるために）どの学生を合格させるかといった判断に役立てる場合がある。 機械学習モデルが複雑すぎて理解できない こうした機械学習モデルは多くの場合、数百万ものパラメーターを持つ。このため、モデルがどのように予測するかについては、機械学習の利用経験がない入試担当者はもとより、研究者

[misshiki]

“ 「このことは現実の世界では、あるサブグループに関する予測が、別のサブグループに関する予測よりも、誤って信頼される可能性が高いことを意味する。そのため、説明モデルを改良することは重要だが、モデルの詳