深層学習は画像のどこを見ている！？ CNNで「お好み焼き」と「ピザ」の違いを検証 - Platinum Data Blog by BrainPad

こんにちは、AI開発部の伊藤です。 今回のブログは、「深層学習はいったい画像のどこを見て判断しているのか」という素朴な疑問に答えてくれる技術として、昨年提唱された「Grad-CAM」という技術を紹介します。 目次 目次 1. はじめに 2. Grad-CAMの紹介 Grad-CAMの仕組み： 3. 適用例 3-1. 画像キャプション生成（Image Captioning） 3-2. VQA（Visual Question Answering） 3-3. 学習用データのバイアス 4. 実施例（お好み焼きとピザを分類） 4-1. 画像データについて： 4-2. CNNの構築： 4-3. Grad-CAMの実装： 4-4. 実施結果の評価 お好み焼き画像でCNNの判定が当たっているケース： ピザ画像でCNNの判定が当たっているケース： お好み焼き画像でCNNの判定が外れているケース： ピザ画像で

[zou3dazou]

Grad-CAMのアイディアは、確率スコアへの影響が大きい画像箇所を微分係数の平均化によって特定。微分係数とは、特徴量マップにおいて、ある画像箇所に微小変化を加えたときに確率スコアに生じる変化の大きさを表す係数

[fhvbwx]

Grad-CAM

[mc22_90]

CNN可視化

[ceptree]

ニューラルネットワークが"なぜ画像を判別できるのか"ということに興味があったので非常におもしろかったです。ちなみに細かいですが、CNNが模倣したのは、視細胞(網膜)ではなくて、視覚野(脳)ですね。

[masadream]

excellent。

[lanius]

Grad-CAM.

[rjge]

“確率スコアを見ると自信をもってピザと間違えています。” コメントの随所に温かみを感じる

[RabbitBit]

深層学習のデバッグ。

[chezou]

トマトソースの赤い色に反応してる気がする/コレ元論文は評価どうやったんだろうな。確認しなきゃ

[kkbt2]

「自信をもってピザと間違えています」「勘違いしているようです」「どこを見るか迷っている」「勘違いしてお好み焼きであると誤解している」

[lyiase]

これは非常に素晴らしい。明らかに間違った学習をしてたら補正も掛けられるから。

[egory_cat]

3-3のバイアスがかかっているモデルがめっちゃ胸見てる

[shogo_okamoto]

Grad-CAM

[trollvinter]

人間の目でも一瞬あれっ？ていうのはあるし、なんかおもしろい

[craftone]

おもしろいなぁ