Kubeflow Pipelinesで日本語テキスト分類の実験管理 - やむやむもやむなし
機械学習ワークフロー管理ツールであるKubeflowのPipelines機能を使って日本語テキスト分類の実験管理を行います。 この記事ではKubeflowのチュートリアルに従ってKubeflowのクラスタを構築してPipelinesを動かし、最後に日本語のデータセットをKubeflow Pipelinesに実際に乗せて機械学習のワークフロー管理を行うところまでまとめていきます。 Kubeflow Kubeflowとは Pipelinesとは GKEでKubeflowクラスタの構築 クラスタ構築 Workload Identityの設定 Pipelinesの基本的な使い方 Pipeline/Experiment/Run PipelineとComponent PipelineとDSL 実験管理としてのKubeflow Pipelines 日本語テキスト分類 with Pipelines Pip
TensorFlowをKubernetesで分散学習するためのKubeFlowを動かしてみた話 - あさのひとりごと
Kubernetesが機械学習基盤としてKubeflowをリリースしました。 ざっくりいうと、KubeFlowは以下の機械学習アプリケーション開発の一連のワークロードをサポートするOSSです。 モデル開発基盤 データサイエンティストや機械学習エンジニアがJupyterNotebookをつかってモデル開発するための、Jupyterが動くサーバ環境を提供 TensorFlow分散学習基盤 開発したモデルをTensorFlowで分散学習するためのKubernetesクラスタを自動生成 アプリ公開基盤 学習済みモデルをKubernetesクラスタ上でサービス公開する基盤を提供(Tensorflow Serving) github.com まだ、開発途中、かつざっとしか追えていませんが、導入のしかたと概要をまとめます。 0. kubeFlow環境構築 Kubeflowを動かすためには、まずKuber
Kubernetes ベースの機械学習基盤 Kubeflow をラップトップにデプロイする - kondoumh のブログ
機械学習を業務に適用するには、データの収集、機械学習モデルの作成、機械学習モデルを利用する API 開発、API を利用するアプリ開発、プロダクションへの適用、運用時の経年変化によるモデルの修正 といったプロセスで進めることになります。 Kubeflow は機械学習モデル作成、API 開発とデプロイまでをカバーする基盤ソフトウェアです。その実体は数多くの OSS の 集合体 (best-of-breed *1 ) となっています。 www.kubeflow.org Kubeflow はその名の通り Kubernetes ネイティブなアプリなので Kubernetes クラスターにデプロイして使用します。GCP / EKS / AKS といったメジャーなマネージド Kubernetes はもちろん、ローカルの Minikube、kind *2 などにデプロイ可能です。 残念ながら現状、Doc
k8s用機械学習基盤kubeflow インストール - Qiita
${KUBEFLOW_SRC}/scripts/kfctl.sh init ${KFAPP} --platform none cd ${KFAPP} ${KUBEFLOW_SRC}/scripts/kfctl.sh generate k8s ${KUBEFLOW_SRC}/scripts/kfctl.sh apply k8s $ kubectl get pod --namespace kubeflow NAME READY STATUS RESTARTS AGE ambassador-7b8477f667-cdqd7 1/1 Running 0 49m ambassador-7b8477f667-klkxb 1/1 Running 0 49m ambassador-7b8477f667-x5jvs 1/1 Running 0 49m argo-ui-fb67b6bc8-282v4 1/1
Google、技術文書を公開するようなWebに向けたテンプレート集「Docsy」を公開 | OSDN Magazine
Googleは7月10日、オープンソースプロジェクトのドキュメント公開に向けたWebサイトテーマ「Docsy」を公開した。ドキュメントを公開するサイトを簡単に立ち上げて運用できるという。 Docsyは技術文書を公開するようなWebサイトのためのテーマで、Webサイト構築のためのフレームワーク「Hugo」をベースとする。Googleは2000以上のオープンソースプロジェクトを抱えており、ドキュメンテーション作成と公開のためのツールが必要だったことから構築したとのこと。技術文書向けのテンプレートとガイドを備えており、すでにKubeflow、Knative、Agonesなどのプロジェクトで利用しているという。 ナビゲーション、サイト構造などの機能を提供するほか、多言語にも対応する。ページの追加、ドキュメンテーションの構造化、コミュニティからの貢献などについてもガイドを提供するという。 Docsy
kubeflow on Rancher で Pod has unbound PersistentVolumeClaims エラー - Qiita
kubeflowをRancher(v2.2.3)でデプロイした際にはまった点のメモ。 事象 前提として、以下の様にAWS EC2上にRancherでk8sクラスタを構築し、カタログから「kubeflow」を選択して実行 すると、一見デプロイは成功した様に見え、kubeflowダッシュボードにもアクセスできる。 次に「Jupyterhub」を起動すると、下記の「Spawning Server」の状態から進まず、結果エラーとなる。 ログを確認すると以下のエラー。 原因と対処 原因はエラーログの通り、Persistent Volume（永続ストレージ）が正しく設定できていないため。 kubeflowのコンポーネント「vizier-db」が永続ストレージを必須とするらしい。 対処は、GitHub issuesの「oganhz commented on 9 Oct 2018」のレスが参考になった。
機械学習ツールキット KubeflowについてGDG DevFest18 で登壇してきました
メルカリ機械学習エンジニアの @hurutoriya です。 2018/09/01 に開催された GDG Dev Fest 2018 で Kubeflow について登壇してきました。 ML Sessions | GDG DevFest 2018 Tokyo 発表資料 www.slideshare.net Kubeflowについての基礎的な説明は発表資料で行っているので、ぜひご覧ください。 発表内容は、機械学習をサービスとして提供する際にいろんな壁が存在していますが、その壁をぶっ壊すのが Kubeflow だ! という流れで発表をしてきました。 僕自身が機械学習エンジニアということもあり、k8sを知り尽くしているわけではなく、あくまで機械学習エンジニアとして Kubeflowの所感を共有させていただきました。 僕自身がKubeflowに興味をもった背景としては、メルカリでは機械学習基盤の開発
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pipeline/README.md at master · PipelineAI/pipeline
MiniKF: the fastest and easiest way to deploy Kubeflow on your laptop
Tutorial wish list for doc sprint (bit.ly/2G4KjCK)
Arrikto announces MiniKF featuring Kubeflow v0.5
MasayaAoyama (青山 真也)さんのツイート: "Kubeflow Meetup #1 の動画を公開しました。 ご興味のある方はぜひご覧ください。 https://t.co/a0UYnZuR3p … … https://t.co/5oqu0eezHx #kubernetes #docker #ML #kubeflow #cloudnativejp #kfmeetup #katib #argo #seldon"