機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - yubessy.hatenablog.com

最近仕事では機械学習を使ったアプリケーションをKubernetes上で運用することが多くなっています。 MLOpsのような言葉も次第に浸透してきたりと、システムとしての機械学習をどう運用していくかが活発に議論されるようになってきました。 運用に頭を悩まされてきた身としては心強い限りです。 この記事ではKubernetes(以下k8s)のようなコンテナオーケストレーション技術が、機械学習システム(以下MLシステム)の実行基盤としてなぜ適しているのかについて考えてみました。 注意点として、私はMLアルゴリズムの専門家ではなく、またLinuxやコンテナ技術の専門家でもありません。 あくまで仕事としてMLシステムを運用するためにk8sを利用している立場からの考察です。 TL; DR: MLシステムの運用には次のような課題が存在する 目的によって求められるワークロードの形態が異なる 一時的・断続的に

[yubessy]

書いた

[y_uuki]

体系的に書かれているよい記事。プロセッシング以外にデータストアの実行環境作成とライフサイクル管理をどうするか気になるところ。

[sh19910711]

Argo / "LuigiやAirflowのようなワークフローマネージャをk8sのCustom Resource Definition(CRD)として実現しようというプロジェクトです"

[cocoasynn]

良い

[nabeen919]

[あとで読む:]機械学習システムの運用課題とコンテナオーケストレーションがもたらすもの - https://t.co/yAmPxLNDLi:

[mergyi]

ML on k8s のライブラリってもうこんなにあったのか

[kazoo_net14]

あとで読む