GKE上にAirbyteを構築しSaaSデータ連携をリプレイスした話 - ZOZO TECH BLOG
はじめに こんにちは、MLデータ部データ基盤ブロックの仲地です。初めてのテックブログへの投稿になります。主に業務ではデータ基盤の開発・運用を担当しています。 データ基盤ブロックではELTツールであるAirbyteを導入し、一部のデータ転送パイプラインをリプレイスしました。本記事ではそのAirbyteの構築方法と運用するにあたって工夫した点を紹介します。 目次 はじめに 目次 背景 Airbyte OSS Connectorの豊富さ ETLではなくEL(T) コミュニティが活発 GCP上でAirbyteを構築 全体構成 Terraform Kubernetesのマニフェスト KubernetesのSecret Kubernetesのデプロイ 工夫した点 GKE上での構築 Airflowによるスケジュール実行 MinIOを用いない PVCのAccessModeの変更 ServiceAccoun
AI Platform Pipelines (Kubeflow Pipelines)による機械学習パイプラインの構築と本番導入 - ZOZO TECH BLOG
ZOZOテクノロジーズ推薦基盤チームの寺崎（@f6wbl6）です。ZOZOでは現在、米Yale大学の経営大学院マーケティング学科准教授である上武康亮氏と「顧客コミュニケーションの最適化」をテーマに共同研究を進めています。 推薦基盤チームでは上武氏のチームで構築した最適化アルゴリズムを本番環境で運用していくための機械学習基盤（以下、ML基盤）の設計と実装を行っています。本記事ではML基盤の足掛かりとして用いたAI Platform Pipelines (Kubeflow Pipelines) の概要とAI Platform Pipelinesの本番導入に際して検討したことをご紹介し、これからKubeflow Pipelinesを導入しようと考えている方のお役に立てればと思います。記事の最後には、推薦基盤チームで目指すMLプロダクト管理基盤の全体像について簡単にご紹介します。 上武氏との共同研
Deploy and run a Azure OpenAI/ChatGPT app on AKS with Terraform
This sample shows how to deploy an Azure Kubernetes Service(AKS) cluster and Azure OpenAI Service using Terraform modules with the Azure Provider Terraform Provider and how to deploy a Python chatbot that authenticates against Azure OpenAI using Azure AD workload identity and calls the Chat Completion API of a ChatGPT model. You can find the code of the chatbot and Terraform modules to deploy the
Cloud Run on GKEに覗くKnative - Qiita
概要 Cloud Run on GKEでKnativeがどう使われているのかを調べたい Cloud Run on GKEの挙動と仕様をなんとなく理解した気になりたい 現在Cloud Run on GKEはCloud Run for Anthosになっている 環境構築 公式ドキュメントにCloud Run on GKE関連のチュートリアルベースにGoogle Cloud Shellで準備していきます。 Cloud Run on GKEが使えるクラスタの準備 Knativeでオートスケールを試すためのDockerイメージ利用 ソースコード: autoscale.go この記事では一からKnative自体の説明はしないので、公式ドキュメントや拙著『Knativeの歩き方 KubernetesからServerlessを訪ねて』、登壇資料などを参考にしてください。 ここからGoogle Cloud
Embulk と Argo でデータ転送する｜0gura
こんにちは、株式会社アトラエで wevox のエンジニアをしている小倉といいます。この記事では、Embulk と、Argo を含む Kubernetes の周辺ツールを使った弊社のデータ転送環境を紹介していきます。 RDS から BigQuery へのデータ転送 wevox ではデータベースとして AWS Aurora（MySQL）を利用しています。データ分析環境としては GCP を利用しており、Aurora から BigQuery にいくつかのテーブルを転送するために Embulk の利用をはじめました。 Embulk 自体は ETL ツールとしては王道であり検索すれば情報もたくさん出てくるので多くは記述しません。インプットプラグインには embulk-input-mysql を、アウトプットプラグインには embulk-output-bigquery を使っています。 Embulk と
コンテナ技術の学習するなら圧倒的にKatacodaがおすすめ #k8s #kubernetes - My External Storage
https://www.katacoda.com/ Katacodaはコンテナ技術に強い無料の学習サイトだ。 ブラウザさえあれば簡単にKubernetesなどを動かせるので、とりあえず触ってみたい人におすすめしたい。 TL;DR katacodaは無料で利用できる学習サイト コンテナ周辺技術をブラウザオンリーで動かしながら学習することができる とりあえず触ってみたい人におすすめ チュートリアルのUIが良くてタイポも気にせずに学習できる 各言語、ツールのPlaygroudも豊富 技術背景や概論については別でキャッチアップが必要 Katacodaは無料で利用できる学習サイト Katacodaはブラウザ上で利用できるeラーニングサイトだ。 利用は無料で自分で新しい学習コースを作成することもできる。 https://www.katacoda.com/ 登録をしなくても利用できるが、進捗などを記録し
事実上の標準ツールとなっているKubernetes向けデプロイツール「Helm」入門 | さくらのナレッジ
近年ではKubernetesクラスタ上で動作させるアプリケーションにおいて、そのデプロイに「Helm」と呼ばれるツールを使用する例が増えている。Helmは設定ファイルを元にアプリケーションのデプロイを自動実行するツールで、Kubernetesアプリケーション向けのパッケージマネージャとも言われている。今回はこのHelmの概要、使い方、設定ファイルの書き方などを紹介する。 Kubernetes上にアプリケーションをデプロイするための事実上の標準的ツールとなっている「Helm」 近年ではコンテナクラスタ技術であるKubernetesを活用したサービスの運用が増えており、Kubernetes上で動かすことを前提とするソフトウェアも登場している。一方で、Kubernetes上でのアプリケーションのデプロイについては課題も多い。 Kubernetesはサービスを複数の小規模コンポーネントに分割して実
今さら人に聞けない Kubernetes とは？ - Qiita
Kubernetesを一言で言うと、自動デプロイ、スケーリング、アプリ・コンテナの運用自動化のために設計されたオープンソースのプラットフォームです。 Kubernetesによって、要求に迅速かつ効率良く対応ができます。 アプリを迅速に予定通りにデプロイする (コンテナをサーバー群へ展開する) 稼働中にアプリをスケールする（稼働中にコンテナ数を変更する） 新機能をシームレスに提供開始する (稼働中にロールアウトする) ハードウェアの利用率を要求に制限する (コンテナで共存させて稼働率を高くする） Kubernetesのゴールは、下記の様なアプリの運用負担を軽減するためのエコシステムのコンポーネントとツールを整備することです。 可搬性: パブリック・クラウド、プライベート・クラウド、ハイブリッド・クラウド、マルチ・クラウド 拡張可能: モジュール化、追加可能、接続可能、構成可能 自動修復: 自
GKEでkubernetesを理解する - Qiita
Kubernetesはコンテナを使ったシステムのライフサイクルを管理するオープンソースです。 大体のインフラ1で動きますが、今回はKubernetesの環境が予め用意されているGKEを使って、使う側の視点で学びたいと思います。 大雑把な理解 まず、ざっくり構成を把握するために図を見てみます 。 図：Kubernetes architecture 左側がKubernetesのコントローラーで、右側が管理対象のコンテナです。以下の単語を簡単に抑えておきます。 Node・・Dockerが動くマシンのこと。 Pod・・コンテナを配置する入れ物。この単位でスケールさせたりします。 Proxy・・コンテナとの通信を経由するプロキシ。 APIやコマンドラインで管理するときに、以下の単語が頻繁に出てくるのでざっくり覚えておきます。 Deployments 2・・Pod（コンテナ）を管理するもの Servi
Kubernetesはクラスタで障害があったとき、どういう動きをするのか - あさのひとりごと
Kubernetesは、コンテナアプリケーションをデプロイするためのオーケストレーションツールです。Kuberenetesは分散環境におけるスケーラブルなコンテナ実行環境をつくるための、さまざまな機能が提供されています。 もともとはGoogleが開発したBorgをもとにOSS化したものですが、今日ではマイクロソフトやRedHatも積極的に開発に加わり、非常に早いスピートで機能拡張していて、追いかけるのも大変です。 Kubernetesの大きな特徴は宣言的設定にあります。 この宣言的設定とは、イミュータブルなインフラを作るための基本的な考え方で、「システムのあるべき姿」を設定ファイルにて宣言する！という考え方です。Kubernetesは設定ファイルに書いたとおりのインフラを維持するように設計されています。 Kubernetesはコンテナを「Pod」という単位で管理します。このPodをKube
Kubernetesの歩き方 // Speaker Deck
Speaker Details SoftwareEngineer at Z Lab Corp. - I'm developing Kubernetes as a Services. View Speaker Details
Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた3 Kubernetes編 - Qiita
これまでのあらすじ KerasをSpark上で稼働させるdist-kerasをDockerから起動させることで、ディープラーニングをスケーラブルにしようとしてきました。 Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた Spark × Keras × Dockerでディープラーニングをスケーラブルにしてみた2 マルチホスト編 前回まででマルチホストでの分散処理に成功しました。 しかしマルチホストでDockerを起動する難点は、それぞれのホストで一々起動コマンドを実行し管理しなければならない点です。 そこで、DockerのオーケストレーションツールKubernetesを用いて、Docker管理を容易にスケーラブルにしてみました。 今回やること これまで作ってきたDistKeras on DockerをKubernetesで動かします。 Kubernet
Kubernetes cluster on AWS （構築編） | DevelopersIO
Kubernetes とは？ k8s と略されることも多い、コンテナーアプリケーションを自動配備したり 管理してくれるオープンソースのソフトウェアです。 元々は、Google 社が開発していましたが、Cloud Native Computing Foundation に寄贈されました。 詳細については、以下をご参照ください。 kubernetes - Production-Grade Container Orchestration はじめに Kubernetes Operations(kops) という OSS を利用し、AWS 上に Kubernetes cluster を構築してみました。 github.com/kubernetes/kops Kubernetes Operations (kops) は、Production Grade で提供されている Kubernetes 環境を構
Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancher
Rancherで簡単に作るk8s環境 Kubernetes meetup tokyo #4 LT kubernetes on rancher
Building a Bank with Go - QCon London March 2017
Traditionally applications have been built as monoliths; single applications which become larger and more complex over time, which limit our ability to react to change. An example of this is the banking industry where mergers and acquisitions between banks have lead to a patchwork of different systems & technologies that cost billions of dollars per year to maintain. As a result, the pace of innov
「Kubernetesはオープンソースのコンテナオーケストレーションのデファクトになった」と、CoreOSがfleetの開発を終了、代わりにKubernetes採用を発表
「Kubernetesはオープンソースのコンテナオーケストレーションのデファクトになった」と、CoreOSがfleetの開発を終了、代わりにKubernetes採用を発表 Dockerの競合としてコンテナに最適化したContainer Linux（旧CoreOS）などを展開するCoreOSは、これまで同社が推進してきたコンテナオーケストレーションツール「fleet」の開発を終了し、今後はKubernetesを採用すると発表しました。 today we are seeing widespread adoption of Kubernetes, which has become the de facto standard for open source container orchestration. 現在、Kubernetesは広く使われており、オープンソースのコンテナオーケストレーションと
Docker と Kubernetes を使って『変化に強いインフラ』を作る | Wantedly Engineer Blog
WHY『変化に強いインフラ』を作ることで、技術にこだわり続ける環境ができ、ビジネスの変化にいち早くキャッチアップできます。 そのためにどのようにして、『変化に強いインフラ』を作ることが出来るのか模索したものをまとめます。 WHATKubernetes 上にアプリケーションを載せるCI/CD 環境構築GitHub Flow の開発スタイルでを元に QA で自分で書いたコードが確認でき、マージをしてmasterへpushしたら、Produciton へすぐにデプロイするサーバースペックを簡単に変えれる/内部で使われるライブラリ等も変更しやすいようにするDeploy の仕組みを自由に変更できるソースコードは以下です。 Github: koudaiii/jjug-ccc2016fall-devops-demoref. GitHub Flow 『変化に強いインフラ』を作っていく上での定義とルール変化
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - Azure-Samples/azure-openai-terraform-deployment-sample
Hello Minikube
Introduction to Kubeflow