金子勇さんのED法を実装してMNISTを学習させてみた - Qiita

追記：続きを書きました。 はじめに 先日以下の記事が投稿され、その斬新な考え方に個人的ながら衝撃を受けました。 内容をざっくり言うと、ニューラルネットワークの学習を現在の主流であるBP法（誤差逆伝播法）ではなく、ED法（誤差拡散法）という新しい学習手法を提案しているものです。 もし記事の内容が本当ならニューラルネットワークの学習がO(1)でできてしまう事になり、まさしく革命が起きてしまいます。 （結論からいうと速度面はそこまででもなかったです（それでも早くなる可能性あり）） （ただこの新手法のポテンシャルは革命を起こす可能性は秘めているといっても過言ではありません） ED法に関してネットを探すとインターネットアーカイブに情報が少し残っていました。 このページですがED法のサンプルプログラム（C言語）が残っており、このサンプルプログラムをベースにpythonで書き起こしたものが本記事となりま

[skypenguins]

“これが1999年に考えられていたなんて衝撃です。 ディープラーニングの誕生が2006年らしいので〜” NN(神経回路網)とBP法(誤差逆伝播法)は両方とも60年代からずっと存在してるような…

[lifefucker]

ブコメでもあるけど隠れ層のあるニューラルネットワークもバックプロパゲーションも1960年代に生まれた。陽の目を浴びたのはコンピューティングリソースが出てきたからだよ。

[Xray]

あたらしい学習法みたいなやつ、ヒントン先生とかもたまに出してはやっぱいまいちって感じになってるのでちゃんとサーベイしたら？

[fubar_foo]

勾配消失に強いのがポイントらしいので、retsnet(2015)やバッチ正規化(2015)がある今となっては実用性は不明だが、興味深い。

[ys0000]

改めて思うのは彼が天才であったこと。惜しい人をなくしたわ。襟を糺して再起を図ろうとした矢先じゃないか。

[ochikun]

興奮性と抑制性のニューロンの実装は、スパイキングニューラルネットワークとして、1997年には出てきてるね。

[mangakoji]

いやいや、領域をXORした条件を学習させるのには、パーセプトロンを何段も重ねる必要がある。というのは1980年代初期には言われてますよ。ただ、一瞬で発散するので、学習させる方法がない。というだけで、

[KoshianX]

うは、internet archive から掘り出してきて実装して動かした人が現れたのか。こんなもんが90年代の個人制作ゲームに搭載されてたというの本当にすごいな……

[Cru]

NNは昔からあるが90年代末に問題になってたのは計算量じゃなくて誤差消失。2010年代のresnetまで解決出来てなかった。NNの誤差伝播法は検索してみたら2019年に東工大から論文が出てるが90年代末に出てたら世の中変わったか

[yojik]

ジェフ・ホーキンスあたりの理論(というか仮定)と発想は似ている気がする

[katsyoshi]

そうだね。てんさいだね。