機械学習ジョブの高速化による開発効率の向上 | Wantedly Engineer Blog

しかしながら推薦システムでは、扱うデータが大きかったり機械学習を使っていたりするために、ジョブを一回実行してそれをもとにオフラインテストをするのにも多くの時間を必要とします。このような状態では、解決策のブラッシュアップする回数が少なくなってしまったり、ユーザーに価値を届けるのが遅くなってしまうという状況を生み出します。そのため、ジョブの高速化を行うことはユーザーに良いものを早く届けるためにとても重要なものだと考えています。 高速化をどのように進めていったかまず、私達が扱っているジョブがどのような手順で実行されていくかについて簡単に紹介します。 データ取得：DWHから推薦に必要な情報を取得する前処理：機械学習モデルに入力する特徴量を作成したり、モデルに与えられる形に変換する学習：モデルを学習する後処理：学習結果に対してルールベースで調整をするエクスポート：予測結果を本番環境からアクセスできる