AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
Cloud Run on GKEに覗くKnative - Qiita
概要 Cloud Run on GKEでKnativeがどう使われているのかを調べたい Cloud Run on GKEの挙動と仕様をなんとなく理解した気になりたい 現在Cloud Run on GKEはCloud Run for Anthosになっている 環境構築 公式ドキュメントにCloud Run on GKE関連のチュートリアルベースにGoogle Cloud Shellで準備していきます。 Cloud Run on GKEが使えるクラスタの準備 Knativeでオートスケールを試すためのDockerイメージ利用 ソースコード: autoscale.go この記事では一からKnative自体の説明はしないので、公式ドキュメントや拙著『Knativeの歩き方 KubernetesからServerlessを訪ねて』、登壇資料などを参考にしてください。 ここからGoogle Cloud
Embulk と Argo でデータ転送する｜0gura
こんにちは、株式会社アトラエで wevox のエンジニアをしている小倉といいます。この記事では、Embulk と、Argo を含む Kubernetes の周辺ツールを使った弊社のデータ転送環境を紹介していきます。 RDS から BigQuery へのデータ転送 wevox ではデータベースとして AWS Aurora（MySQL）を利用しています。データ分析環境としては GCP を利用しており、Aurora から BigQuery にいくつかのテーブルを転送するために Embulk の利用をはじめました。 Embulk 自体は ETL ツールとしては王道であり検索すれば情報もたくさん出てくるので多くは記述しません。インプットプラグインには embulk-input-mysql を、アウトプットプラグインには embulk-output-bigquery を使っています。 Embulk と
GKEでkubernetesを理解する - Qiita
Kubernetesはコンテナを使ったシステムのライフサイクルを管理するオープンソースです。 大体のインフラ1で動きますが、今回はKubernetesの環境が予め用意されているGKEを使って、使う側の視点で学びたいと思います。 大雑把な理解 まず、ざっくり構成を把握するために図を見てみます 。 図：Kubernetes architecture 左側がKubernetesのコントローラーで、右側が管理対象のコンテナです。以下の単語を簡単に抑えておきます。 Node・・Dockerが動くマシンのこと。 Pod・・コンテナを配置する入れ物。この単位でスケールさせたりします。 Proxy・・コンテナとの通信を経由するプロキシ。 APIやコマンドラインで管理するときに、以下の単語が頻繁に出てくるのでざっくり覚えておきます。 Deployments 2・・Pod（コンテナ）を管理するもの Servi
GoogleCloudPlatform ContainerEngine（Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか) - Qiita
GoogleCloudPlatform ContainerEngine（Kubernetes)でコンテナ管理入門(基本的な使い方、Registry、Blue/Green Deployment、ResizeCluster、MultiZoneClusterとか)DockerkubernetesGoogleContainerEngineGoogleContainerRegistrygooglecloud はじめに 先日GoogleCloudOnBoardという大きなイベントに参加しまして、色々と感動したわけです。私もGCP布教に一役買おうと思いContainerEngineについて書いてみました。 前回はAWS ECSを書きましたけど、やっぱりコンテナ管理といえばKubernetesですよ。 今回も前回とだいたい同じシナリオでやってみたいと思いますが、Autoscalerだけはベータでの提供との
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
