TensorFlowをKubernetesで分散学習するためのKubeFlowを動かしてみた話 - あさのひとりごと
Kubernetesが機械学習基盤としてKubeflowをリリースしました。 ざっくりいうと、KubeFlowは以下の機械学習アプリケーション開発の一連のワークロードをサポートするOSSです。 モデル開発基盤 データサイエンティストや機械学習エンジニアがJupyterNotebookをつかってモデル開発するための、Jupyterが動くサーバ環境を提供 TensorFlow分散学習基盤 開発したモデルをTensorFlowで分散学習するためのKubernetesクラスタを自動生成 アプリ公開基盤 学習済みモデルをKubernetesクラスタ上でサービス公開する基盤を提供(Tensorflow Serving) github.com まだ、開発途中、かつざっとしか追えていませんが、導入のしかたと概要をまとめます。 0. kubeFlow環境構築 Kubeflowを動かすためには、まずKuber
Kubernetes ベースの機械学習基盤 Kubeflow をラップトップにデプロイする - kondoumh のブログ
機械学習を業務に適用するには、データの収集、機械学習モデルの作成、機械学習モデルを利用する API 開発、API を利用するアプリ開発、プロダクションへの適用、運用時の経年変化によるモデルの修正 といったプロセスで進めることになります。 Kubeflow は機械学習モデル作成、API 開発とデプロイまでをカバーする基盤ソフトウェアです。その実体は数多くの OSS の 集合体 (best-of-breed *1 ) となっています。 www.kubeflow.org Kubeflow はその名の通り Kubernetes ネイティブなアプリなので Kubernetes クラスターにデプロイして使用します。GCP / EKS / AKS といったメジャーなマネージド Kubernetes はもちろん、ローカルの Minikube、kind *2 などにデプロイ可能です。 残念ながら現状、Doc
機械学習ツールキット KubeflowについてGDG DevFest18 で登壇してきました
メルカリ機械学習エンジニアの @hurutoriya です。 2018/09/01 に開催された GDG Dev Fest 2018 で Kubeflow について登壇してきました。 ML Sessions | GDG DevFest 2018 Tokyo 発表資料 www.slideshare.net Kubeflowについての基礎的な説明は発表資料で行っているので、ぜひご覧ください。 発表内容は、機械学習をサービスとして提供する際にいろんな壁が存在していますが、その壁をぶっ壊すのが Kubeflow だ! という流れで発表をしてきました。 僕自身が機械学習エンジニアということもあり、k8sを知り尽くしているわけではなく、あくまで機械学習エンジニアとして Kubeflowの所感を共有させていただきました。 僕自身がKubeflowに興味をもった背景としては、メルカリでは機械学習基盤の開発
開発を爆速にするキスモの機械学習基盤 - Kysmo’s Tech Blog
こんにちは！キスモインターン生の岡野です。 キスモではインフラエンジニアとして働いています。 今回はキスモで新たに構築した機械学習基盤をご紹介します。 結論から言うと以下のようになったのですが、 ここに至る経緯と結果的に享受できるメリットを書いていきます。 クラウド or オンプレ インフラを構築していく場合、 まずこのあたりから選択することになると思います。 2005年のAWSのローンチを皮切りにして、 MicrosoftのAzure、GoogleのGCP等が非常によく利用されるようになりました。 このような背景から、 IT分野はとにかくクラウドに移行すればいいのではないかという疑問も生まれます。 しかしながらオンプレミスにするメリットもまだまだ多く残っています。 そこでまず、クラウドとオンプレを比較します。 クラウドのメリット クラウドのメリットは"とにかく柔軟であること" これに尽き
Kubernetesによる機械学習基盤への挑戦
2018年12月4日 Japan Container Days 講演資料 谷脇大輔 Preferred Networksでは1000個以上のGPUとInfiniBandからなるオンプレミスのクラスターを自社で構築しており、研究者が様々な目的、リソース量、実行時間の機械学習ジョブをKubernetes上で実行して研究成果を出しています。 KubernetesはKubeflowの登場など、機械学習基盤としても非常に注目されている一方で、現実的には未だ発展途上です。 講演では機械学習基盤としてのKubernetesの導入理由、その実用性と将来性、Preferred Networksの挑戦についてお話ししました。
[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ - Qiita
[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ機械学習DockerAnsible人工知能kubernetes はじめに 久しぶりの投稿です。 今回は社内で使っている機械学習機の自動構築基盤の構築メモになります。 twitterやってます。 フォローお願いします。 ※※※ 人工知能で競馬予想sivaを運用しています。 連対的中率 ： 約 86% 回収率 ： 約 136% 今回の環境構築はGAUSSのインフラチームで構築しました！！ @monkeydaichan @tsukasa1301 今後もどんどん記事更新していきますのでフォローよろしくお願いいたします。 また、アプリチームはTypescript + ReactでAPIとSPAの新フレームワーク構築してますので、そちらもQiitaに書きます！！ 目的 以下の二点を目
![[業務で使える！]Kubernetes(Docker)、Ansibleを使った機械学習基盤の構築自動化(ベアメタル)メモ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/ecd360b5b88865073539684d3bfad8b58af71304/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCJUU2JUE1JUFEJUU1JThCJTk5JUUzJTgxJUE3JUU0JUJEJUJGJUUzJTgxJTg4JUUzJTgyJThCJUVGJUJDJTgxJTVES3ViZXJuZXRlcyUyOERvY2tlciUyOSVFMyU4MCU4MUFuc2libGUlRTMlODIlOTIlRTQlQkQlQkYlRTMlODElQTMlRTMlODElOUYlRTYlQTklOUYlRTYlQTIlQjAlRTUlQUQlQTYlRTclQkYlOTIlRTUlOUYlQkElRTclOUIlQTQlRTMlODElQUUlRTYlQTclOEIlRTclQUYlODklRTglODclQUElRTUlOEIlOTUlRTUlOEMlOTYlMjglRTMlODMlOTklRTMlODIlQTIlRTMlODMlQTElRTMlODIlQkYlRTMlODMlQUIlMjklRTMlODMlQTElRTMlODMlQTImdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWY3YzQyMTdhNTJjMzYzNWIxMTc3NDE4MTBkMDFmNjZk%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdHN1bmFraSZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9YmRmOGFiMjJhYWI1MDMxNzZhYzFjM2U0Yjg1ZGJlMjY%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D0bf607f30ca8a2105e172196b93d5cb9)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pipeline/README.md at master · PipelineAI/pipeline
PFNにある２つのKubernetes
メルカリのマーケット健全化施策を支えるML基盤
Machine Learning Environment Made by Rancher
k8s_ml_platform.pdf
Kubernetes for MLOps