Scikit-Optimizeを使ってベイズ最適化で機械学習のハイパーパラメータの探索を行いました。 はじめに グリッドサーチ 手書き文字での実験 ベイズ最適化 参考 Pythonでベイズ最適化 探索範囲 ブラックボックス関数 ガウス過程での最適化 結果 まとめ はじめに 機械学習において、ハイパーパラメータのチューニングは大きな課題の1つです。ハイパーパラメータはSVMでのコストパラメータやRBFカーネルののことで、人が調整するパラメータのことです。DeepLearningでは、バッチサイズや学習率、層の数、ドロップ率など多岐にわたります。 グリッドサーチ どのパラメータが良いか探索する方法はいくつかありますが、シンプルな手法の1つにグリッドサーチというものがあります。 グリッドサーチは、用意したパラメータの候補の組み合わせをすべての試す方法です。パラメータが2つあり、それぞれ候補が10