くら寿司：GKE や Edge TPU などを駆使して来店から会計までを完全自動化し、新しい生活様式のためのサービスを提供 | Google Cloud 公式ブログ
くら寿司：GKE や Edge TPU などを駆使して来店から会計までを完全自動化し、新しい生活様式のためのサービスを提供 大阪を起点に日本全国 47 都道府県すべてに店舗を展開する大規模回転寿司チェーンくら寿司株式会社（以下、くら寿司）。浅草や道頓堀、原宿、押上に「食」と「エンターテイメント」の融合を掲げ、「ジャパンカルチャー」の発信拠点とするグローバル旗艦店をオープンするなど、とりわけ “体験” にこだわる同社が、最新のクラウド テクノロジーをどのように活用しているのか。その取り組みと成果を、テクノロジー開発部の皆さんに伺いました。 利用しているサービス： Google Kubernetes Engine、Compute Engine、App Engine、Edge TPU 利用しているソリューション： アプリケーションのモダナイゼーション コンテナや AI など Google Clo
Kubernetes / GKE ファンの皆様こんにちわ。Google Cloud の Kazuu (かずー) です。GKE Autopilot が GA になりました。弊社公式ブログに続きまして、GKE Autopilot を日本語で解説していきたいと思います。 本記事は以下、3 部構成となります。 GKE Autopilot 概要GKE Autopilot を試してみるGKE Autopilot がハマりそうなユースケースは？ 1. GKE Autopilot 概要GKE Autopilot は GKE の新しいモードです。Control Plane に加えて、Node が完全マネージドになります。これまでの GKE では Node はユーザー自身が必要台数分作成し、以後の Day 2 オペレーション (e.g. アップグレード) 等も気に掛ける必要がありました。GKE Autopil
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 | Google Cloud 公式ブログ
カプコン: Cloud Spanner や GKE を用いて『ストリートファイター6』のためのクロスプレイ プラットフォームを構築 『ストリートファイター』や『バイオハザード』、『モンスターハンター』など、世界中で愛されるゲームシリーズでその名を知られる株式会社カプコン（以下、カプコン）。その最新 AAA タイトル『ストリートファイター6』では、ユーザーのすそ野を広げる意欲的な取り組みを多数実施して注目を集めています。そこに Google Cloud のテクノロジーがどのように役立てられているのか、開発の中核メンバーにお話を伺いました。 利用しているサービス: Cloud Spanner, Memorystore for Redis, Google Kubernetes Engine, Anthos Service Mesh, Cloud Monitoring, Cloud Logging
EKS FargateとGKE Autopilotの違いを外野から解説してみる - inductor's blog
はじめに GoogleのマネージドKubernetesディストロであるGKEの新機能（厳密には新しい種類のクラスターといったほうがユーザーにとっては正しい説明になると思いますが）、GKE Autopilotが先週大きく話題になりました。 ノードがGoogle Cloudによるマネージド Podごとの課金体系 ノードへのSSHが使えない といった特徴が大きく取り上げられており、ぱっと見AWSのEKS Fargateと非常に似ているように見えます。が、(少なくとも、user facingな部分においては)技術的には全くやっていることが違うと思います。なぜならFargateはEC2とは全く異なるVM技術がベースになっているのに対して、Autopilotは通常のGCEを応用した機能として提供されているからです。 ※まあ、GCEは実はコンテナで動いてるみたいなちょっとした裏話もあったりするんで、本当
Slides for Webエンジニアが使う身近な Kubernetes 2019/09 https://m3-engineer.connpass.com/event/143295/
Kubernetesをちょっと理解したあなたに贈るGKEの実践ノウハウ4選 - MonotaRO Tech Blog
はじめに 商品推薦システム: RecSys について GKEを採用した理由 GKEノウハウの紹介 RegionalクラスタでZone, NodeごとにPodが分散されるようにAffinityを設定 graceful shutdownするコンテナでもpreStopが必要 コンテナネイティブの負荷分散を利用 負荷試験によるHPAのパラメータ調整 まとめ はじめに こんにちは。EC基盤グループの池田（@progrhyme）です。 モノタロウでは昨年、商品のレコメンデーションに用いるシステムを内製化するという取り組みを行いました。 私もこのプロジェクトに参加し、主にGoogle Kubernetes Engine（以下、GKE）上でのアプリケーションの構築・設定やCI/CD設定、監視設定などを行っていました。 私自身、本番運用するGKEのプロダクトを本格的に触るのは、本件が初めての経験でした。 そ
株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube
大規模アプリケーション開発運用をマルチテナント方式のGKEクラスタで実現した話 - MonotaRO Tech Blog
こんにちは。EC基盤グループの宮口（@smiyaguchi）と池田（@progrhyme）です。 モノタロウではKubernetesのマネージドサービスであるGoogle Kubernetes Engine（以下、GKE）を利用しています。 このKubernetesですがとても便利な反面、管理が大変で開発者がアプリケーションの開発とKubernetesの運用を同時に行うのは負荷が高くなりあまり好ましくありません。 そこでモノタロウでは開発と運用を分離できるように、社内でGKE共通環境と呼んでいるマルチテナント方式のクラスタによるアプリケーションの実行基盤を構築しました。 今回はその紹介をします。 マルチテナント・シングルテナントとは？ なぜマルチテナントのGKE環境を作ることにしたのか 全体概要 前提・環境情報 GKE共通環境の特徴 Namespace・ノードプールの分離 RBACによる権
本日ついに待望のGKE Autopilotがリリースされましたね！ この記事では、GKE Autopilot上で動いているリアルタイム推論基盤でなぜ我々がGKE Autopilotを利用することにしたのかについてお話しします。
ある機械学習システムをAWSからGCP/GKEに移行した話 / Machine Learning System Migration from AWS to GKE
Data Pipeline Casual Talk Vol.4 https://dpct.connpass.com/event/139163/
はじめまして。Gaudiyでエンジニアをしているあんどう（@Andoobomber）です。 クラウドネイティブ全盛の世の波に乗り、この度 Gaudiy では Cloud Run から Google Kubernetes Engine (GKE) への移行を行いました。 この記事では、その移行プロセスの全体像を共有し、得られた教訓と今後の展望を探ってみたいと思います。 1. Before After: 移行の概観 1-1. Before 1-2. After 2. なぜGKE環境に移行したのか 3. 移行のプロセス 3-1. Kubernetesを学ぶ (1週間: 2023/10/01~) 3-2. Dev on GKE環境作成 (2-3週間) 3-3. Staging on GKE環境作成 (2日) 3-4. Private Clusterへの移行 (1-2週間) 3-5. Prod on
株式会社スクウェア・エニックス／株式会社コロプラの導入事例：『ドラゴンクエストウォーク』に Cloud Spanner、GKE 活用 | Google Cloud 公式ブログ
株式会社スクウェア・エニックス／株式会社コロプラの導入事例：『ドラゴンクエストウォーク』に Cloud Spanner、GKE 活用 ここ数年、スマートフォンで取得した位置情報を元に、ユーザーが現実世界を動き回る事で「冒険」感覚を楽しめる「位置ゲー」（通称）が人気です。中でもその大本命とされているのが、人気ゲーム作品『ドラゴンクエスト』シリーズの世界観を盛り込んだ『ドラゴンクエストウォーク』。2019 年 9 月に配信をスタートし、その社会現象的大ヒットにも関わらず、現在までネットワークやシステム系のトラブルがほとんど発生していないという、その秘訣を伺いました。 利用している Google Cloud Platform サービス：Google Kubernetes Engine、Cloud Spanner など Google Cloud の先進テクノロジーはゲーム開発にも極めて魅力的「皆さ
※この投稿は米国時間 2020 年 7 月 16 日に、Google Cloud blog に投稿されたものの抄訳です。 多くの組織が Google Kubernetes Engine（GKE）環境などのシステムの稼働を継続するために、さまざまなリスク管理とリスク軽減の戦略を採用しています。こうした戦略は、予測可能なシステム停止時でも予測不可能なシステム停止時でもビジネスの継続性を確保するものです。特に、パンデミックによるビジネスへの影響を抑制するために取り組んでいる現在こそ重要です。 この 2 回にわたるブログ投稿の最初の記事では、可用性の高い GKE クラスタを、いわゆる Day 0 の段階で設定する方法についての推奨事項とベスト プラクティスをご紹介します。そして 2 回目の投稿では、クラスタを稼働させた後の、Day 2 の高可用性のベスト プラクティスについて説明します。 GKE
GKEでサービスを外部公開する際には、 GKE Ingress とそのバックエンド GCP Cloud Load Balancing を使用するのがスタンダードです。が、これには費用 ($18/月~) がかかります。 これをCloudflare DNS + Contourで置き換えて、無料で済ませる方法を説明します。ノードは全台プリエンプティブインスタンスで構いません。 この記事はDoxseyさんによる Kubernetes: The Surprisingly Affordable Platform for Personal Projects を発展させた内容になります。 元記事と同様、紹介する構成は趣味利用にとどめてください。 GKEクラスタ作成 まずGKEクラスタを作成してください。3台以上で構築し、プリエンプティブを有効にするのがオススメです。 ちなみにDoxseyさんの記事ではf1
SREのたっち(@TatchNicolas)です。 今年のPyCon JPはオンライン開催でした。JX通信社はSilverスポンサーとして協賛したほか、イベントをより盛り上げるために、参加者の反応をリアルタイムに配信に反映するシステムを開発・提供しました。 jxpress.net アプリケーションはPythonで作られており、基盤としてGKEを採用しました。データ分析基盤や昨年の開発合宿等で社内向けのプロジェクトにKubernetesの採用した事例は過去にもあったのですが、今回はじめて社外向けのシステムに採用したので、その裏側について書いてみたいと思います。 できたもの 構成図 構成としては比較的シンプルだと思います。 基本的な処理はGKE上で行い、データの永続化はFirestoreを使っています。一部、ブラウザで動く運営向けフィード画面上の操作(いいね・リツイート)について、Fireba
※この投稿は米国時間 2019 年 11 月 23 日に、Google Cloud blog に投稿されたものの抄訳です。 高度なスケーラビリティと構成の柔軟性を提供するコンテナ オーケストレーション プラットフォームを求めているお客様にとって、マネージド Kubernetes サービスである Google Kubernetes Engine（GKE）は優れた選択肢になります。GKE は、ステートフル アプリケーションのサポートに加えて、ネットワーキング、ストレージ、オブザーバビリティ（可観測性）のセットアップなど、コンテナ オーケストレーションのあらゆる側面を完全に制御できます。 しかしながら、お使いのアプリケーションがそうしたレベルのクラスタ構成やモニタリングを必要としない場合は、フルマネージドの Cloud Run が最適なソリューションになるかもしれません。フルマネージド Clou
こんにちは、インフラ部の id:sue445 です。 今回はRendertronをGKEとCloud Runの両方で構築した話をしたいと思います。 tl;dr; 前置き 今までのRendertronの問題点 GKE版Rendertronについて GKEの採用理由について GKE版Rendertronの構成 全体 GKE内部 pod内部 Kubernetesの設定と解説 rendertron-deployment.yaml rendertron-hpa.yaml rendertron-ingress.yaml rendertron-service.yaml Tips nodeのストレージサイズをケチり過ぎたらpodが起動できなくなった N1マシンタイプのnodeとN2マシンタイプのnodeを比較した結果、N2マシンタイプが安くなった Cloud Run版Rendertronについて Clou
Beatrust で SRE をやっている Yuta（中川 裕太）です．運用がラクにできように色々と改善したり，セキュリティ向上したり，インフラ作ったり API 開発したりしています． 今回のブログでは，Google App Engine (GAE) から Google Kubernetes Engine (GKE) Autopliot へ移行し半年間運用してみて感じたメリットやハマりポイントについて紹介します． モチベーション Beatrust では初期立ち上げの開発コストを下げるため，もともと GAE を用いて開発運用してきました．様々なお客様にご利用いただく中で，嬉しいことに今後 10 倍，100 倍のユーザ数成長が見込めるようになってきました．そういった状況下で以下のような GAE の課題も顕在化しており，インフラの抜本的見直しを実施する必要がありました． GAE では Auto
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
はじめにこんにちは鹿島(@kashitaka)です。今までリクルートライフスタイルにてAirの開発をしていましたが、4月からリクルートとサイバーエージェントのジョイントベンチャーの株式会社ヒューマンキャピタルテクノロジー(HCT)にてプロダクト開発グループの責任者をやってるものです。 弊社では従業員のコンディション可視化・改善ツール「Geppo」を運営しており、今回はそんなGeppoに参画して最初に着手した改善の1つ「テスト環境増殖プロジェクト」について書きます。 何に困っていたか まず始めに参画当初の状態としてはこんな感じでした。 ■状態 ・製品はAWS Elastic Beanstalk(以下EB)というPaaSにホストしているアプリケーション ・クラウドのテスト環境はEB環境が2つのみ。あとは各個人のローカル開発端末 ・テスト環境へのデプロイ作業は操作権限を持ったサーバーサイドエンジ
TL;DR先日、GAとなったConfig Connector を使うと、Kubernetes のリソースのようにGCPのリソースを作成・管理できます。 はじめに昨今、クラウドを利用することが増えてきたエンジニアの方々は、様々な構成管理システム、API、ツールなどを組み合わせてインフラを管理していると思います。これらの要素は、どんどん複雑化し把握するのも困難になってしまいがちです。Config Connectorは、Kubernetesを介して、Google Cloud Platform 上でリソースの構成をシンプルにしてくれます。 Config Connectorとは?Config Connector とは、Kubernetes を介して Google Cloud のリソースを管理出来るようにするための、Google Kubernetes Engine（GKE）のアドオンです。Agones
Megatron-LMとGKEで作るMixtral 8x7Bを語彙拡張継続事前学習 Part1 ~学習コードとモデルの先行公開~ - ABEJA Tech Blog
こんにちは！ABEJAでデータサイエンティストをしている大谷です。 ABEJAは国立研究開発法人新エネルギー・産業技術総合開発機構（以下「NEDO」）が公募した「ポスト5G情報通信システム基盤強化研究開発事業／ポスト5G情報通信システムの開発」に当社提案の「LLMの社会実装に向けた特化型モデルの元となる汎化的LLM」が採択されたことを受け、LLMの事前学習を実施しました。 以降、本LLMプロジェクトをGENIAC（Generative AI Accelerator Challenge）と表記します。 開発内容は表題の通り、Mistral社のMIxtral 8x7Bをベースにした日本語の語彙拡張版継続事前学習です。弊社が調べた限り、Megatron-LMでMixtralモデルを継続事前学習するソースコードは2024年4月12日時点（執筆時）では存在していません。 GENIACの計算資源提供の
はじめに ブンブンハローテックブログ。エムスリー AI・機械学習チームでエンジニア兼YouTuberをやっています河合と笹川です*1。本記事は、AIチームが社内向けに提供を初めたビジュアライズアプリケーションに関する解説の記事です。 GKE上のStreamlitサーバのホスティング設定と、機械学習エンジニアが社内向けの可視化を行う際の一例として、参考となれば幸いです。 はじめに Background Streamlitとは Streamlitの特徴 アプリケーション、インフラ構成 おわりに We're hiring Background 一般的に「機械学習エンジニアが社内向けの可視化アプリケーションを作る」といったケースでは、以下のようなシステム利用が考えられるかと思います。 HTML、xlsx、Googleスプレッドシートなどを作成、配布する S3、GCSのようなストレージの静的サイトホ
ABEMA における GKE スケール戦略と Anthos Service Mesh 活用事例 Deep Dive
Google Cloud Day 2023 東京では、大規模イベントを生中継するにあたって、我々 ABEMA がどのように準備をしてきたか、Google Cloud の活用事例を紹介しました。 今回は GKE スケール戦略と Anthos Service Mesh 活用事例の Deep Dive 編として、GKE スケール戦術 7 選と Anthos Service Mesh 活用術 7 選を紹介します。ここ数年間、我々 ABEMA が試行錯誤によって蓄積してきたディープな知見をお伝えできれば嬉しいです。
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行
Google、Kubernetesを自動運用してくれる「GKE Autopilot」正式リリース。ノードのプロビジョニング、マルチゾーン展開、スケーリングなど自動的に最適実行 Googleは、Google Kubernetes Engineの新機能として、Kubernetesの運用を自動化する「Google Kubernetes Engine Autopilot」（GKE Autopilot）の正式リリースを発表しました。 #Kubernetes の革新的な運用モードである GKE Autopilot をリリース。GKE ユーザーは 2 つの異なる運用モードを選択できるようになりました。Autopilot は GKE の幅広い既存機能だけでなく、パートナーのソリューションとも互換性が維持されるよう設計されています。https://t.co/Dyhj0V4lU7 #gcpja pic.twi
FAANSにおけるCloud RunからGKE Autopilotへのリプレイス事例 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 WEAR部 SREの笹沢（@sasamuku）です。 FAANSはショップスタッフの効率的な販売をサポートするスタッフ専用ツールです。FAANSの一部機能は既にリリースされており全国の店舗で利用いただいております。正式リリースに向け、WEARと連携したコーディネート投稿機能やその成果をチェックできる機能などを開発中です。 FAANSのコンテナ基盤にはCloud Runを採用しており、昨年にSREとしての取り組みをテックブログでご紹介しました。しかし、運用していく中で機能需要や技術戦略の変遷があり、Cloud RunからGKE Autopilotへリプレイスすることを決めました。本記事ではリプレイスの背景と、複数サービスが稼働している状況下でのリプレイス方法についてご紹介します。 目次 はじめに 目次 リプレイスの背景 なぜCloud R
SREエンジニアが目指すGKE共通デプロイ基盤の完成形 - ぐるなびをちょっと良くするエンジニアブログ
こんにちは。開発部門 開発部 Data AI Strategyセクション データ基盤 Unitの小野です。 2020年8月に入社してから早3年。SREエンジニアとして、日々業務改善に励んでいます。 ここ一年ほど、DAOという組織改善プロジェクトを推進していく中で、Google Kubernetes Engine (GKE)を使ったGKE共通デプロイ基盤の整備も進めてきました。 ※ DAOについての詳細はSREエンジニアが組織改善プロジェクトを立ち上げてみたを参照ください SREエンジニアの責務の一つは、プロダクトのリリースサイクルを極限まで短くし、次々と新しいサービスを世の中にリリースすることです。ChatGPTのような誰でも簡単に扱えるAIモデルが誕生したことで、プロダクト開発競争は今後ますます激しくなっていくと予想しており、SREエンジニアの責務の重要性をヒシヒシと感じています。 そう
KubernetesのPod利用料金が最大で91％値引きされる「Spot Pods for GKE Autopilot」、Google Cloudが発表
KubernetesのPod利用料金が最大で91％値引きされる「Spot Pods for GKE Autopilot」、Google Cloudが発表 Google Cloudは、Kubernetesでアプリケーションを実行するPodの料金が60％から最大91％まで値引きされる新サービス「Spot Pods for GKE Autopilot」をプレビュー版としてリリースしました。 Autopilot is already great at running stable, production-grade workloads and is backed by a Pod-level SLA—a first for GKE. Now we're introducing Spot Pods to save you money on your fault-tolerant workloads
はじめにKubernetes クラスタやその上で動くワークロードに対する脅威は多様化しており、クラスタ コンポーネントだけではなくコンテナ アプリケーションやソフトウェア サプライチェーンも含めた多層的な防御が求められます。 Google Cloud では Google Kubernetes Engine (以降 GKE) やその周辺エコシステムにおけるセキュリティ機能が活発に開発されており、これらの機能を上手く活用することで Kubernetes 環境の多層防御を実現可能です。 とはいえ、Google Cloud で提供している コンテナ セキュリティ関連機能 / サービスは種類が多すぎて何がなんだか分からない方も多いのではないでしょうか。本記事では、GKE 周辺のセキュリティ機能 / サービスの概要や使い所、おすすめの設定等について紹介していきます。 ちなみに本記事は Cloud Na
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering
はじめに こんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。 先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、 ノード 数削減すなわち Pod 集約率の向上 (1台のノードで出来るだけ多くの Pod を動かす) に取り組みました。 今回はそこで行ったことをご紹介します。 概要 今回のプロジェクトでは、 Kubernetes (以降 K8s) の Horizontal Pod Autoscaler 使用してアプリケーション Pod をオートスケールさせます。 このため、スケールアウト・スケールイン後 (Pod の増減により クラスタオートスケーラー (以降 CA) がノードを増減させた後) でも、Pod 集
![DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1252489982a7fafcf1805c0cb00d4c02b4ee5b92/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F06%2Fgke-optimization%2Fcover.png)
関連キーワード SDN（Software Defined Networking） | オープンソース | Docker 第9回「『Kubernetes』を使うなら、まず知っておきたい『Flannel』と『Calico』の通信」は、「Pod」（コンテナの集合体）同士の通信を実現する仕組みとして、オープンソースのCNI（Container Networking Interface）プラグインを紹介しました。コンテナオーケストレーター「Kubernetes」はクラウドサービスで利用することも一般的になっています。今回はクラウドサービスにおけるKubernetesのネットワークの仕組みを紹介します。 併せて読みたいお薦め記事 コンテナの基礎知識 いまさら聞けない「Kubernetes」と「Rancher」の違いとは？ いまさら聞けない「OpenShift」と「Kubernetes」の基礎 どう違う
株式会社Colorful Palette：GKE で構築されたリアルタイム通信エンジン『Diarkis』の導入で約 10 万ユーザーがバーチャル ライブに同時接続し体験を共有 | Google Cloud 公式ブログ
株式会社Colorful Palette：GKE で構築されたリアルタイム通信エンジン『Diarkis』の導入で約 10 万ユーザーがバーチャル ライブに同時接続し体験を共有 2020 年 9 月にリリースされ、わずか半年で早くも 300 万ダウンロードを突破したスマートフォン向けリズム＆アドベンチャー ゲーム『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』。そのサービスを支えるリアルタイム通信エンジン『Diarkis』は Google Kubernetes Engine（GKE） 上で動作しています。年末年始のカウントダウン イベントでは 10 万ユーザーに迫る同時接続があったという本サービスが、どのようにしてその難局を乗り切ったのか、開発に携わるエンジニアの皆さんにお伺いしました。 （利用している Google Cloud ソリューション） アプリケーションのモダナイゼ
GKE 1.20+ で preemptible / spot VM とうまく付き合う | GREE Engineering
インフラの駒崎です。 Google Kubernetes Engine (GKE) の 1.20+ で有効な kubelet graceful node shutdown と、それを活用した preemptible VM の利用について書かせていただきます。 GCP の Preemptible VM とは Preemptible VM は、いくつかの制限があるかわりに通常のインスタンスよりも安く利用できるインスタンスです。制限はいくつかありますが、最も留意すべきは 「いつでも停止される可能性があり、最長でも起動から 24 時間で停止される」点でしょうか。 ※ Preemptible VM の新バージョンとして Spot VM もアナウンスされました (2021/10/13 現在 preview) 。 Graceful node shutdown GKE 1.20 以降のバージョンでは ku
楽々スケール Digdag on GKE Autopilot の紹介とその運用Tips - ZOZO TECH BLOG
こんにちは、MA基盤チームの田島です。私達のチームでは複数のワークフローエンジンを利用し、メールやLINEなどへの配信を含むバッチ処理を行っていました。今回それらのワークフローエンジンをすべてDigdagに統一しました。そして実行環境としてGKEのAutopilot環境を選択したことにより、柔軟にスケールするバッチ処理基盤を実現しましたのでそれについて紹介します。 また、その中で得られた運用Tipsについても合わせて紹介します。 目次 目次 Digdag on GKE Autopilotの構成 Digdagの4つの役割 Worker Scheduler Web API Kubernetes Command Executor Workerでのタスク実行の問題 Command Executor Kubernetes Command Executorの利用 GKE Autopilot環境でのKu
機械学習基盤をGKE Autopilotに移行してコストを削減した - LIVESENSE ENGINEER BLOG
リブセンスで機械学習基盤の開発・運用をしている赤坂（yyyyskkk）です。 我々のチームでは今年の７月ごろにGKE Standard（以下Standardクラスタ）上に構築していた機械学習基盤をGKE Autopilot（以下Autopilotクラスタ）に移行しました。GKE Autopilotとはノードやポッドを自動で管理してくれるクラスタです（詳しくはGoogleのブログをご覧ください）。この記事ではなぜAutopilotクラスタに移行したのか、移行する上でどんな作業が必要だったかという話を書きます。 なぜAutopilotクラスタに移行したのか 高額なノードが複数立ち上がる問題 system podが原因？ StandardクラスタとAutopilotクラスタの違い 検証 移行に必要だった作業 Argo WorkflowsのExecutorを変更した メモリ不足が発生したためres
Introducing GKE Autopilot: a revolution in managed Kubernetes In the years since Google invented Kubernetes, it has completely revolutionized IT operations, becoming the de facto standard for organizations looking for advanced container orchestration. Organizations that need the highest levels of reliability, security, and scalability for their applications choose Google Kubernetes Engine (GKE). I
How to secure your Kubernetes cluster on Google Cloud - セキュアなGKEクラスタのつくりかた
2021年10月14日 Google × mercari に学ぶ！Kubernetesの活用法とセキュリティ
この記事はエムスリーAdvent Calendar 2023とMLOps Advent Calendar 2023の12日目の記事です。 AI・機械学習チームの北川です。 最近は猫のかまってアピールがすごすぎて、よく仕事の邪魔されます。 かまって欲しがる猫 現在AI・機械学習チームではMLのバッチをGoogle Kubernetes Engine(GKE)上で運用しています。 現在数えてみたところ240個以上のバッチがGKE上で動いているようです。 AI・機械学習チームでは2019年頃から約４年ほどGKE上でMLバッチを運用しています。 その間にコストの最適化や安定したバッチの運用などに力を入れてきました。 この記事では、主にスケールインとコスト最適化について説明しようと思います。 チームのMLについて全体を把握したい場合は以下の記事が詳しいです。 www.m3tech.blog GKEの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
完全マネージドな k8s ! GKE Autopilot を解説する
AWSからGCP/GKEに移行してみた / From AWS to GKE on GCP
株式会社コロプラ『GKE と Cloud Spanner が躍動するドラゴンクエストウォーク』第 9 回 Google Cloud INSIDE Game & Apps
Google Kubernetes Engine（GKE）を徹底解説 - G-gen Tech Blog
GKE Autopilotで作るMLリアルタイム推論基盤 | PLAID engineer blog
Kubernetes初学者が担当したGKE移行プロセスの全貌 - Gaudiy Tech Blog
GKE のベスト プラクティス: 高可用性クラスタの設計と構築 | Google Cloud 公式ブログ
趣味GKEのIngressを無料で済ませる - ダルツ海峡冬景色
PyCon JP 2020のTwitter実況システムをGKE上に作った話 - JX通信社エンジニアブログ
GKE と Cloud Run、どう使い分けるべきか | Google Cloud 公式ブログ
RendertronをGKEとCloud Runで構築しました - pixiv inside
GKE Autopilot を半年運用してみて...めっちゃラク！ - Beatrust techBlog
GKEとIstioを使ってテスト環境を増殖させた話 | Geppoプロダクトブログ｜かしたか
もっとGCPが使いやすくなる!? GKE Config Connectorを試してみた！
GKEでStreamlitをホスティングして社内用アプリを作った話 - エムスリーテックブログ
セキュアな GKE クラスタを構築するために知っておきたいポイント 2022 年夏（前編）
「EKS」「AKS」「GKE」のコンテナ理解に役立つVPCやVNetの通信とは？
Introducing GKE Autopilot | Google Cloud Blog
GKEでMLバッチ運用のコツ - エムスリーテックブログ