深層学習の畳み込み層の処理は「畳み込み」じゃなかった件 - tdualのブログ
畳み込み層の処理は厳密には畳み込みではなかったのか・・・ 畳み込み層 畳み込み層の処理 数学で言うところの畳み込み 畳み込みの定義 畳み込み層の処理と比較 相互相関 相互相関と畳み込みの相違点 交換律 フーリエ変換 相互相関の意味 畳み込み層に「畳み込み」を適応するとどうなるのか？ 終わりに 畳み込み層 畳み込み層の処理 畳み込み層ではインプットの画像データに対して重みを掛けてアウトプットします。この重みをカーネルと呼びます。 実際の計算は図1のようになっています。 図1. 畳み込み層の処理インプットデータの一部にカーネルを適応してその適応された部分で行列の内積を取っています。式でかくと次のようになります。 アウトプットされた行列のi,j成分を, インプットされた行列のi,j成分を, カーネルのi,j成分をとすると 数学で言うところの畳み込み 畳み込みの定義 ２次元の畳み込みは次のように定
勾配法は本当に鞍点近傍にはまるのか？モース理論で考えてみる - Qiita
TL;DR 勾配法はほとんどのケースで極小点に収束する（鞍点には収束しない） この事実は力学系や最適化の分野ではよく知られているが，機械学習では新しい？ 数年前にバズった勾配法の比較動画は実際の学習現象を説明できていないかも 鞍点の近傍での振舞いで差がつく？ いや，そもそも鞍点近傍に流れ込まないかも 比較動画に登場した鞍点は，実際にはまず生じないタイプかも 機械学習にも役立つモース理論 ほとんどすべての関数はモース関数 モース関数の臨界点のタイプはわずか $d+1$ 種類（$d$ は定義域次元） 安定/不安定多様体とモース・スメール複体で勾配法の流れは分かる Monkey saddleはまず現れない（もし現れても簡単に消せる） 量的な問題に関しては，結局は実験するしかない この記事を書いたきっかけ 昨夜，ある論文を見かけて，ふとこんなツイートをした． ML業界，「勾配法が鞍点に収束する確率
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
