JTPA ML勉強会向けに、基本となるクラシックなDL論文をまとめておきます。 2014-2016はファンダメンタルなテクニック/アーキテクチャについての論文が多く、導入することで一気にパフォーマンスが上がったり収束しやすくなったりして大変エキサイティングな あげあげ〜 な時代でした。 今では何気なく普通に使われているものばかりですが、それぞれの論文がどんな問題にフォーカスをあて、どうやって解決してきたのかを見ておくことでML/DLの本質が理解しやすいと思っています。 みんなで読もう、DL! 基本テクニック系 論文 1. ReLU “Rectified Linear Units Improve Restricted Boltzmann Machines” (2010) Cited by 9,076 DLの立役者ヒントン先生の論文。それまでに使われていたシグモイドやtanhなどの伝達関数では