dlshogiモデルの20ブロックから15ブロックへの知識蒸留 - TadaoYamaokaの開発日記dlshogiでは、10ブロックのモデルから始めて、15ブロック、20ブロックとモデルサイズを大きくしている。 ブロックが大きいほど、精度が高くなっており強さにも反映される。 第32回世界コンピュータ将棋選手権のdlshogiでは20ブロックのモデルを採用している。 ブロック数を増やすと、NPSが低下するため、精度向上とNPSはトレードオフになっている。 ブロック数を増やすことによる精度向上分が上回っているため、強くなっていると考える。 しかし、NPSが低くなると探索が浅くなるため、探索が重要になる局面では、ブロック数が小さい方が有利になる可能性がある。 小さなブロック数で精度が高いモデルが理想であるため、より大きなブロック数で質の高い教師を生成して、小さなブロックを学習するということを試みたい。 知識蒸留 単に、より大きなブロック数で生成した教師を小さなブロックで学習するだけでも、小さな
