MLflow上でOptunaによって生成される大量のrunを整理する | フューチャー技術ブログ

はじめにこんにちは、SAIG/MLOpsチームでアルバイトをしている齋藤です。 MLflowは機械学習の管理を扱うツールとして、Optunaはハイパーパラメータを自動調整するツールとしてともに広く使用されているツールです。MLflowとOptunaを同時に利用した際に、Optunaが複数回試行することによってMLflow上にrunが大量に生成され、MLflow上で試行結果が見づらくなります。 本記事では、大量に生成されるrunに親のrunを付与することで、MLflowのWebUIから見やすくする方法を提示します。 課題Optunaは事前に指定した範囲の中からハイパーパラメータの組み合わせを自動的に選択してモデルを学習して評価するという試行を繰り返すことで、良いハイパーパラメータを探索するツールであり、これにより手作業でハイパーパラメータを調整するのを省けます。 MLflowは機械学習の管理

[sh19910711]

"MLflow: mlflow.parentRunIdというタグ + 親のrunのIDを設定すると、WebUI上で親子のrunがネスト / Optunaによって生成される大量のrunを一つの親runに結び付けることができます / システムタグは.parentRunId以外にも存在"