AI Lab AutoMLチームの芝田です (GitHub: @c-bata)。 ハイパーパラメーター最適化は、機械学習モデルがその性能を発揮するために重要なプロセスの1つです。Pythonのハイパーパラメーター最適化ライブラリとして有名な Optuna [1] は、様々な最適化アルゴリズムに対応しつつも、使いやすく設計的にも優れたソフトウェアです。本記事ではOptunaの内部実装についてソフトウェア的な側面を中心に解説します。 Optunaの内部実装を理解するためには、主要コンポーネントの役割と全体の動作の流れを押さえる必要があります。しかしOptunaの開発は活発で、コード量も多くなり、全体の流れをコードから読み取ることは難しくなってきました。そこで今回Minitunaという小さなプログラムを用意しました。Minitunaには全部で3つのversionがあり、それぞれ100行、200行
はじめに コークハイとか酎ハイをお店で飲むと、割り方とかレモンが効いていたりとかでお店によって結構違いが出ますよね 自分好みの最高のコークハイの作り方を知ることは全人類の夢だと思います。 本記事は一足先にそんな夢に挑戦したという記事です。 手法としてはベイズ最適化を使用します。 実データで実験計画と絡めながらベイズ最適化を実際に行う記事はあまり見かけなかったので今回は、 最適化パラメータ 1. コーラとウイスキーの比 2. レモン汁の量 目的変数 コークハイの美味しさ という2次元入力、1次元出力で実際に実験とチューニングを並行しながら行ってみたいと思います。 目次 はじめに ベイズ最適化とは 実験系の説明 実験条件 実験で考慮しないこと(パラメータ) 実験材料 実験方法 スコアの付け方 実験をやりました（本題） 実装コード 実験開始 ARDありver. 反省点 さいごに ベイズ最適化とは
はじめに Streamlitって気づいたら神アプデしてますよね。もっと大々的に宣伝してほしいものです（←自分で情報取りに行け）。 さて、化学メーカーに勤めている"自称"データサイエンティストとしてはやはりベイズ最適化したい衝動に駆られます。Notebook上では実装できていたのですが、もっと簡単に使いたいし、周囲に広めるためにもアプリの方が便利だなぁと思いました。 世の中にはそんなアプリがあるけど、ダウンロードが必要だったり（社内申請めんどくさい）、お金がかかったり・・・そうだ！自作しよう！ ということで、Streamlitでベイズ最適化による実験点提案アプリを自作しました。 ひとまず必要最低限の機能だけ実装したので、今後アップデートしていきます。 メインライブラリ streamlit==1.30.0 scikit-learn==1.4.0 ガウス過程回帰、ベイズ最適化 ・scikit-l
はじめに 形状のわからない関数(ブラックボックス関数)の最大値あるいは最小値を求める手法として、ベイズ最適化が広く利用されています。機械学習モデルのハイパーパラメーター最適化を中心に活用が進んでいますが、入力とそれに対する評価値さえ設計できればあらゆる問題に適用できます。 例えばFacebookでは、MLモデルのチューニングはもちろん、映像コーデックのエンコードパラメーター 1、AR/VRハードウェア設計、HHVM JITコンパイラのパラメーターチューニングにベイズ最適化を適用するため BoTorch や Axの開発を進めています (F8 2019の発表 Product Optimization with Adaptive Experimentation を参照)。 弊社では多くのサーバーシステムでGo言語が採用されていますが、サーバーのgoroutine数やキャッシュシステムのメモリーバ
はじめに 機械学習の世界ではベイズ最適化を活用した効率的なハイパーパラメータチューニングが当たり前のように使われております。例えば、2015年には東京大学の佐藤先生がベイズ最適化を上手くを活用した実践的な研究成果をご発表されております この発表で解説されている通り、ハイパーパラメータの選定作業すら機械に任せてしまうことができるため、これ以降もベイズ最適化が昨今の機械学習ブームのさらなる飛躍に貢献していきました。ベイズ最適化が機械学習のハイパーパラメータ選定に使われる理由は大まかに下記の点であるといわれています。 1.ブラックボックス関数(コスト関数)の最大化・最小化を実現できる。 2.グリッドサーチよりもパラメータ調整のための試行回数を大幅に削減できる。 3.確率モデルに基づく方法のため、推定結果の不確かさもモデリングできる。 特に、1番と2番の利点は複雑なコスト関数・対象に対して，なるべ
ベイズ最適化は、予測値と実測値を合わせようとはしていない
2021 年 6 月 3 日に、金子弘昌著の「Pythonで学ぶ実験計画法入門 ベイズ最適化によるデータ解析」が出版されました。 講談社: Amazon: Amazon(Kindle): === 出版して約２年経過した 2023 年 4 月... 具体的には、ガウス過程回帰モデルの構築、獲得関数の値が大きい実験条件のサンプルの選択、そのサンプルを用いた実験を繰り返します。 ベイズ最適化の途中で、縦軸をガウス過程回帰モデルによる y の予測値、横軸を y の実測値とするプロットをして、予測値と実測値と合ったかどうか検証をする人がいますが、ベイズ最適化においては意味がありませんのでご注意ください。ベイズ最適化によって提案された実験条件のサンプルの予測値と実測値の間の誤差は、ベイズ最適化の検証方法としては適切ではありません。なぜなら、ベイズ最適化では y の予測値が実測値と合うようなサンプルを提
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ハイパーパラメーター最適化フレームワークOptunaの実装解説 | | AI tech studio
ベイズ最適化で最高のコークハイを作る - わたぼこり美味しそう
ベイズ最適化（実験点提案）アプリをStreamlitで構築するぜ！ - Qiita
Goptunaを使ったGo言語におけるベイズ最適化の活用 | Research Blog
Pythonによるベイズ最適化を使った効率的な制御系設計 - Qiita