MLOpsを支えるヤフー独自のモデルモニタリングサービス

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは。ヤフーのAIプラットフォームの開発と運用を担当している黒松です。 ヤフーではオンプレミスにあるKubernetesの上に全社で利用可能なAIプラットフォームを構築しています。昨年8月に公開した「ヤフーのAIプラットフォーム紹介 〜 AI開発をより手軽に」ではヤフーのAIプラットフォームの全体概要をご紹介しました。ここではその続編として、ブログの最後に触れたモデルモニタリングツールであるDronachをご紹介します。 Dronachはヤフーで内製したモデルモニタリングツールです。YAMLフォーマットで特徴量のデータセットを指定するだけで定期的なデータドリフトの検知と統計情報の集計、結果を確認するダッシュボードの構築、アラ

[el7]

“ドリフトの検知とKPIの低下を監視してアラートの通知までを一環してサポートする仕組みがなく、導入サービスごとに追加の開発コストが必要になる”

[nilab]

「時間の経過によって学習時のデータと現在のデータの傾向が異なる状態を、データドリフトと呼びます。データドリフトが発生すると新しいデータの分布に対して適切な予測ができなくなりモデルの性能が低下します」