コンピュータ将棋でDeep Learningごっこしてみたまとめ - Qiita

コンピュータ将棋を題材にdeepなニューラルネットを自作して遊んでみた結果得られたノウハウのメモ。 Deep Learningはfeature engineeringしてくれない まあ当たり前の話ですが、「画像や囲碁にDCNNというモデルがとても効果的だった」＋「DCNNへの入力は従来より雑なfeature (ほぼ生の情報やそれ＋α)で大丈夫だった」というだけの話で、feature engineeringやネットワークの設計は結局のところ問題に特化して考えないといけないよね、という話。 少なくとも将棋の駒の配置だけを入力にして全結合層をたくさん並べただけでは、現実的な中間層の大きさでは全然予測性能が出ませんでした。 将棋の場合線形性が強いのでdeepである必要はあんまり無さそうに思えます。 全結合よりはDCNNの方がちょっとマシっぽいですが、それにしても3駒に匹敵するようなことにはならなそ

[sh19910711]

"深いネットワークでバイアス項無しだとだいぶ勾配が伝搬しにくくなる / 中間層のユニット数を100倍くらい増やすと、多くの場合、学習率がそのままでは大きすぎ / 学習率に限らず初期値も分散を合計1にするのがよい" 2016