O'REILLY『ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装』(以下 “テキスト”)読者限定対象の、何度目かのシリーズの最終回です。 前回はシグモイドと2乗和誤差の誤差逆伝播法の実装について書いたが、テキスト5章のクライマックスは、続くAffineレイヤとSoftmax-with-Lossレイヤの実装のくだりなんじゃないかと思う。テキスト全体でも白眉と言えるんじゃないだろうか? 実際、著者はSoftmax-with-Lossレイヤに関しては、巻末に10ページにわたる付録を設けて丁寧な説明を行っている。特別扱いしているのだ。 しかしこのテキストの例にもれず、Affine/Softmaxレイヤの実装の説明が終わると、いきなりニューラルネットワークへの逆伝播法の実装が始まる。難易度が断崖絶壁のように…ってこのフレーズを繰り返すのは何度目だ? そこで