線形層と比較した畳み込み層 - HELLO CYBERNETICS

はじめに 全結合層 全結合層の数式 非全結合層 畳み込み層 入力成分のindexに着目した非全結合層 非全結合・重み共有層 1D畳み込み層 2Dの畳み込み層 最後に はじめに 今回はニューラルネットワークの基本的な構成要素である線形（全結合）層と畳み込み層について簡単に説明します。 これを説明するモチベーションは、「畳み込み層は線形層よりも優れた発展的手法、複雑な手法であるという勘違いが 初学者の中であるのではないかと感じ、それの解消をするためです。 以降、畳み込み層と線形層の最たる違いを主張するために、線形層のことを全結合層と呼ぶことにします。 この呼び名は、TensorFlowやKerasなどのフレームワークで採用されています（layers.dense）。 全結合層 全結合層の数式 まず全結合層について数式を以下に示します。 入力ベクトル$x \in \mathbb R^{D}$に対し

[Cru]

“ニューラルネットワークでは決して特徴量抽出や前処理から解放されたわけではありません。 データの構造を再現しうる適切な制約を課すという作業に置き換わったのです”

[lyiase]

畳み込み層の役割は特徴を抽出すること、全結合層の役割はそこから出てきた特徴分布を使って判定することだと思ってる。大雑把にはあってるよね？

[karaage]

これすごく重要な概念な気がする。メモ