Argoによる機械学習実行基盤の構築・運用からみえてきたこと
機械学習は大量のリソースを必要とするためマネージドな環境をスケーラブルに使えることが重要です．また，機械学習システムは専門性が高く属人化してしまうことも事実です．これらの課題を解決するためにリクルートテクノロジーズではArgoワークフローを導入し，属人化や環境依存性が高いといった問題に取り組んでいます．Argoはコンテナベースのワークフローエンジンで，ワークフローの各ステップをコンテナとして実装することを可能にします．また, 弊社ではArgoプロジェクトに含まれるArgoCDと組み合わせることで，CI/CD パイプラインを構築し，GitOps を実現しています．Argo Workflowsによる機械学習実行基盤を運用していく上で見えてきた，使用者側の視点・運用する側の視点両方からの知見を共有します！ [1C1] 13:20 - 14:00 河野 晋策 (Shinsaku Kono) / 機
Argo Workflow による機械学習ワークフロー管理
2019/06/27 Data Pipeline Casual Talk #3
Kubeflow Meetup #1 でコンテナネイティブなワークフローエンジン Argo について発表してきました | メルカリエンジニアリング
ドーモ、ミナ＝サン。 機械学習エンジニアの @hurutoriya です。 先日PFNさんのオフィスで開催された Kubeflow Meetup #1（Cloud Native Meetup Tokyo #5） – connpass に登壇してきました。 発表内容は Kubeflow Family の一つである コンテナネイティブなワークフローエンジン Argoについての紹介をさせていただきました。 argoproj.github.io Kubeflow/Katib Owner の @overs_5121 さん、ご招待いただきありがとうございました! 発表資料は公開しているので、ぜひご覧下さい。 www.slideshare.net *発表動画も公開される予定なので、公開され次第追記します。 機械学習システムにおけるワークフローエンジンの必要性 Argo自体まだ発展途上のOSSですが、機械
Argo によるコンテナネイティブなデータパイプラインのワークフロー管理 - LIVESENSE Data Analytics Blog
データプラットフォームグループの野本です。主に機械学習基盤の構築やそれにまつわるアプリケーションの開発をしています。 以前までの記事で現在 Kubernetes を利用して機械学習基盤の構築を進めているという紹介をしましたが、機械学習システムに付きものだと思われるワークフローのジョブ管理に Argo という Kubernetes 上で動作するワークフローエンジンを導入し使いはじめまてみました。まだ色々試している段階でもあるのですが現状でどんな感じで使っているのか紹介してみようと思います。 ワークフローエンジンの選定に関して 現在機械学習基盤では先に紹介した以前の記事 や マルチコンテナ構成による機械学習アルゴリズムとアプリケーションの疎結合化 のような形で機械学習システムの構築を進めています。特に後者の具体例のように各アプリケーションを疎結合にうまく動かせるように出来るのが理想です。 これ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
argo-workflows/docs/variables.md at main · argoproj/argo-workflows
https://github.com/argoproj/argocd-example-apps/blob/master/plugins/README.md
Argo CD v0.12 Released
Argo Workflow によるMLジョブ管理
Doing Gitops at Scale
Sign in
https://applatix.com/open-source/argo/docs/yaml/ex_create_policy_4_workflow.html
https://applatix.com/open-source/argo/