「悪いやつをAIで予測する」のがなぜいけないか - yhara.jp

「この人、家賃を滞納しそう？」AIが予測 入居審査を45分→16分に - ITmedia NEWS いやーこれはまずい。この件に限らず、「悪いやつをAIで予測する」というのはすなわち 「あなたに似た人が悪いことをしたので、あなたも悪い人と見なします」 ということだからだ。 レストランのランプ たとえばこんな例を考えてみよう。ある街でレストランが強盗に襲われる事件が相次いだ。これを防ぐため、レストランの入口に防犯カメラを設置することにした。このカメラはAIで犯罪者の顔を学習していて、「犯罪を犯しそう」な人間を検知してくれるのだ。 もちろん検知するといってもサイレンが鳴ったりするわけじゃない。あくまで「犯しそう」なだけで、まだ犯罪を犯したわけではないからね。でもキッチンに置いてある赤いランプがピカピカ光って、「要注意人物」が来たことはわかるようになっている。ああこれで安心だ。 …さて、これは本

[teteto]

本質的にAIが関係ないんだよね。書類審査で学歴フィルターかますのが属性による判断みたいなもんで、この場合問題はAIに責任転嫁していること。

[vbwmle]

単に大家が「リスクあるし外国人とか単身高齢者とかシングルマザーに貸したくねえなあ」という気持ちを「AIの決定」としてボカしてくれる装置

[beerbeerkun]

銀行のローンとかクレカの与信って属性使った判定してるんだけどそれはOKなの？「AI」とは呼ばれてないけど。

[rararoro-ryo]

純粋に予測だけするのは良いが不利益を与えるのがダメ。予測結果を見て全く不利益を与えないというのは実質無理なので予測も大体ダメってことかな。

[rh-kimata]

個々人の中でもそういう差別、偏見はあると思うのだけれどAIなどによってシステム化されてしまうと社会全体が差別をAIのお墨付きで受け入れてしまうので問題、と言うお話

[ssids]

現状で保険会社のアクチュアリーの仕事ってほぼこれのような気がするけど

[Fushihara]

例えがコンビニだから「店員がよそよそしい」くらいのデメリットしか無いと言えるけど、これが保険や銀行だったら大きな実害が出てくるんだよね。ランプがアジア人全般に対して光らない保証なんか無いし

[karukaru7]

いや、そのシステムが公平ならフィードバックで正しくなっていくでしょ、なんで更新されない前提なわけ？

[Usus_magister_est_optimus_t]

悪いやつを万引きGメンが予測するのと変わらなくない？？

[hate_flag]

現実世界で起きてることをベースに機械学習させるとそのAIは現実世界の差別を補強するAIにしかならない。現実世界がそうだから黒人には家のローンの限度額が低くなるし女性にはクレジットカードの与信枠は低くなる。

[cubed-l]

リクナビの内定辞退予測問題再びか。統計的差別の話とは別に、個人情報を選別に用いるのであれば同意いるんじゃね？とか。

[neco22b]

生まれつきの属性を入力としてはいけない。AIか人力かは変わらない。

[mas-higa]

犯罪者がパンを食べてたからパン屋から出てきたやつは要注意。

[crowserpent]

「統計的差別」の話。／フィードバックによる更新で正しくなっていくという意見があるけど、それが可能なのは「正しさ」が（コンピュータ内部的に）定義できる場合だけなんだよね。

[saiyu99sp]

シビュラシステム… ひろみちゅ先生出番ですよ。

[aquatofana]

id:karukaru7 属性による差別が、もともと属性間にある格差を再生産して悪化させるだけでなく、人間が改善しようとしてもAIがどこからか属性を見つけてくるからです。Appleクレカの与信差別や黒人の診断差別という事例が。

[Hatenow]

先天的かつ変更不可な属性に基づく不利益は差別だと殆どの人は感じるだろう。一方で、先天的ではない属性とされる学歴や勤務先・収入、先天的だか変化しうる親の地位・財産で判断するのは、許容されるケースが多い。

[legoboku]

モデルに過度のバイアスがかかったまま放置されてたらどうするんだ問題

[Clock0311]

不動産やさんは、その浮く30分でたぶん「悪いやつを人間の脳で予測」してるはずだよなと。もちろんAIの導入がそれを悪い方に加速する可能性もあるけど、みなさんのお好きな「道具に罪はない」ってやつなんでは。

[kamm]

じゃあクレカの信用調査は悪なの？って書こうとしたら既にあった。当たり前か

[NOV1975]

じゃあ人間で判断する場合はどうかってこと。そこまで分析しきれないから問題ないってのもちょっとおかしい。突き詰めて言えば結局信用がないと貸せない、信用とは金である的な話になりそう。

[mujisoshina]

AIが悪いのではなく、倫理的に問題があることはAIを使おうが使うまいが問題があるという話じゃないかな。AIに条件設定をしている時点で使用者は偏見を持っている訳で。/AIで指名手配犯を見つける場合はどうだろうか。

[vjaPj]

人間も属性で決めつけてる、AIになるとそれが文章化されるだけ。悪い奴かは知らないけどストレス抱えてるかどうかは見てわかる。 余裕がなさそうな人とか、興奮してる人、精神状態おかしい人を警戒しない人はいない。

[elve]

人生自己責任で自衛しろといわれたらマイノリティレポートでもAIでもルッキズムでもなんでも、結果守れることに縋るしかない。男は犯罪者予備軍←

[ludwig125]

プログラムや学習内容を改善すればいい、という意見があるけど、結局「予測する」のであれば属性で判断するという本質が変わってない

[gamecome]

事故を起こした上級国民は、その直前まで超善良なんだろうか　予測できてなくね

[oakbow]

なんで更新されない前提なわけ？ってのは更新されても問題だからだよ。AIを使おうが、その属性で判断しようとしているのは変わらず、そういった判断の仕方は差別だという話。

[shinichikudoh]

こういうの黒人差別を例えにしがちだけど日本の入居審査に白人至上主義が導入されていたら日本人の大半は落とされる。つまり日本の入居審査で有利なのは日本人で外国人なら黒人も白人も差別されるんじゃないかなと。

[bababatan]

統計的差別

[Tbot]

別に、今人間がやってることをAIにさせてるだけでは、、、

[BT_BOMBER]

煎じ詰めればAIは統計解析をやってるだけに過ぎないという話。ここ10年くらいの発展はあくまでビッグデータの学習速度向上にあった訳で。偏りのあるデータを学習したAIがナチュラルに差別し始めるのは既に知られてる

[tyoko107]

差別するブラックボックスを、誰がどのように改善するんだ？あと、AIが分かりやすくロボットやランプではなかろうて。

[enu7]

結局人がやってることがダメだなあって結論になるよね

[kaz_the_scum]

車の任意保険だと特定の車と年齢で保険料が跳ね上がるけど、当該車種に乗っていた身としてはそりゃそうだよなと思ってた。個人情報を管理して、実際に前科がある奴に対してだけ警告出すしかないな。

[t0a1n3]

“差別とは、人間を「その人」ではなく"属性"で判断することだ。”この点には同意するものの、「属性」はある種の経験であり、それが全くないと何を判断するのにも時間がかかりすぎる。

[plutonium]

人を属性で判断することを差別と定義したから「いけない」ということになっている。しかし他人を属性以外で判断する社会とか他人を属性で判断した人を糾弾する社会というのは些か実現性に無理があるのではないか

[mmaka2787]

AIはバカだってことでしょ。人間は100年かけて黒人が犯罪を犯すのではなく、環境が犯罪を犯させるのだと気づいたけど、AIはそれをまた元の木阿弥に戻そうとしていて、しかもそれが人間にとって明示的でないことが問題

[aki_asap]

最終的には理由がわからんというのがね。根拠を積み重ねて作ったこの社会を無根拠が壊す。それっぽさによる専制支配だ。

[kotehanltd]

良い人を判別するのは難しいだろうなってコメントは面白い。疑わしきは容疑者候補という運用はいかんと思いました。

[nakaoka3]

難しいけど、システムが偏見を強化・再生産しないように作るのがデータを扱う者の倫理なのだと理解してる。犯罪を犯しそうな人を事前に検知するシステムはその点で問題ありそう。