今更だけどアイカツ！16話のチケット5万枚を2秒で売り切るシステムについて本気で考察してみた - くりにっき
発端 お前誰よ？ 前置き 構成 webサーバ データベース 決済システム 負荷試験 当日の監視 まとめ 余談 発端 この後20時からBNP公式YouTubeチャンネルで「アイカツ！」「アイカツフレンズ！」第16話を配信されるよ☆プレミア公開後はアーカイブされるのでそちらもチェックしてね♪ アイカツ！20:00〜https://t.co/6KcqOCSeR4 アイカツフレンズ！20:30〜https://t.co/rezQITX0eM#aikatsu #aikatsufriends— アイカツプラネット！&アイカツオンパレード！アニメ公式 (@aikatsu_anime) 2020年12月1日 アイカツ16話見てるんだけど「チケット5万枚が2秒で完売」ってそれを売り切るシステムも相当やばいな・・・・（ISUCONより難易度高そう）— sue445 (@sue445) 2020年12月1日 普
【書き起こし】メルペイチームが考える「ゼロトラスト」をベースとした認証・認可の在り方と課題 #merpay_techtalk | メルカリエンジニアリング
【書き起こし】メルペイチームが考える「ゼロトラスト」をベースとした認証・認可の在り方と課題 #merpay_techtalk 2021年11月5日に、メルペイ・メルコインのエンジニアたちによる「Tech Talk 〜 ゼロトラストをベースとした安定的なシステム稼働の取り組み〜」を開催しました。 現在のメルペイサービスにおける認証・認可の仕組みや、セキュリティ対策に欠かせない「ゼロトラスト」と認証・認可の関係、それらを踏まえたメルカリグループの現状と課題をご紹介します アーカイブはこちら！ https://www.youtube.com/watch?v=gXxd75iBXzE 登壇者紹介 竹井 悠人（@yuto）/ 株式会社メルコイン Securityチーム Manager スタートアップを渡り歩いてきたソフトウェア エンジニア。2016年に暗号資産交換業者 (取引所) に入社して以後、最高
Build Spin up new environments quickly Develop your own unique applications with Docker images and create multiple containers using Docker Compose. Integrate with your existing tools Docker works with all development tools such as VS Code, CircleCI, and GitHub. Containerize applications for consistency Run in any environment consistently from on-premises Kubernetes to AWS ECS, Azure ACI, Google GK
DeNA社内はクラウドかオンプレミスかで激論――、南場智子会長がクラウドシフトの経験を語る（Impress Watch） - Yahoo!ニュース
グーグルジャパンによるGoogle Cloudのカンファレンス「Google Cloud Next '19 in Tokyo」が、7月30日～8月1日に開催された。 【この記事に関する別の画像を見る】 本稿では、7月31日と8月1日に開かれた基調講演から、ユーザー企業やパートナー企業のゲスト講演の模様をレポートする。 ■DeNA社内、クラウドとオンプレミスとで激論 Google Cloud利用企業として登壇したDeNA 代表取締役会長の南場智子氏は、同社がクラウドシフトした経験を語った。 同社では、1日に50億リクエスト、1秒に数万リクエストを受け付ける3千台のサーバーを、数十人のエンジニアによりサーバーダウンゼロで運用しているという。「おそらく日本でもトップクラスのインフラ技術力ではないか」と南場氏。 そうしたオンプレミスの運用に実績を持つDeNAで、社内の技術陣が「オンプレミスかクラウ
Google Cloud、ミッションクリティカル向けのNFSファイルサーバ「Filestore Enterprise」発表。SLA 99.99％
Google Cloud、ミッションクリティカル向けのNFSファイルサーバ「Filestore Enterprise」発表。SLA 99.99％ Google Cloudは、企業の基幹業務システムなどミッションクリティカルなアプリケーション向けのNFSファイルサーバとして「Filestore Enterprise」をプレビューとして発表しました。 Google Cloud expands #storage portfolio with new functionality and two brand new products: Filestore Enterprise and Backup for GKE. Read more from @ZDNet ↓https://t.co/kdscP396cl — Google Cloud (@googlecloud) September 17, 20
米GoogleのクラウドサービスGoogle Cloudは1月25日（現地時間）、オープンソースのAI開発プラットフォームを手掛ける米Hugging Faceと「生成AIおよびML開発を加速する戦略的パートナーシップ」を結んだと発表した。開発者はGoogle Cloud上でオープンモデルを迅速かつコスト効率よくトレーニング、調整、提供できるようになるとしている。 Hugging Faceを利用する開発者は、プラットフォームから数回クリックするだけでGoogle CloudのVertex AIを使ってモデルをトレーニングできるようになり、モデルのトレーニングと微調整を支援するGoogle Kubernetes Engine（GKE）も使えるようになる（2024年前半）。 Google Cloudでは、米NVIDIAのH100 TensorコアGPU搭載のA3 VMのサポートが追加される見込み
ちょっと気が早いですが, Cloud Functions第2世代を試してみた - 現バージョンからの移行とその注意点 - Lean Baseball
今日のテーマ ※【2022/8/4更新】正式版がGAとなりました, ブログ記載の内容と異なる所がある可能性があるのでご注意ください&本番などで使っても大丈夫です！&別のブログも書いたのでその話も追加 仕事もプライベートもよくGoogle Cloud（GCP）を使っている人です. 最近はGoogle Cloudの資格取得, 頑張ってます*1. ちょっとしたSlack Botを作りたい ちょっとしたデータ収集クローラー（Webクローラー&スクレイピング）がほしい ちょっとした「CSVとかJSONのファイルをBigQueryに放り込む）簡単なETLがほしい なんて時に, Cloud FunctionsというGoogle Cloudのサーバレスな従量課金FaaS（Function as a Service）でシュッと関数作って運用しているのですが, つい最近そんなCloud Functionsの第
[Noah Smith, “Why I love the new labor movement,” Noahpinion, May 17, 2022] 新しいサービス業の階級には，発言力が必要だった．で，それがいま手に入った このところ，アメリカ人の多くは，もっぱら災厄や脅威に関心を注いでいる――テロ攻撃，上院の判決，戦争，選挙結果に異議を唱えられる脅威．ときに，こういうおぞましいニュースが行列をなしてやってくると，まるで世の中のなにもかもがマズイことになっているように思えることがある．でも，他のところに目を向けると，明るいこともある．そのひとつは，新しい労働運動だ． その先陣を切っているのが，スターバックスだ．バッファローの店舗を起点に，代表的なコーヒーチェーンで労組が組織されはじめると，この動きは急速に全米に広まりつつある．いまでは，およそ70店舗で労組ができあがっている． Last
Kubernetes Pod の IP アドレスが枯渇しかけている場合に役立つ実証済みの解決策を紹介 | Google Cloud 公式ブログ
Gemini 1.5 モデル をお試しください。Vertex AI からアクセスできる、Google のもっとも先進的なマルチモーダル モデルです。 試す ※この投稿は米国時間 2024 年 4 月 30 日に、Google Cloud blog に投稿されたものの抄訳です。 Kubernetes の大きな強みの 1 つは、Pod ごとに固有のネットワーク アドレスがあることです。これにより、Pod が VM のように機能するため、デベロッパーはポートの競合などの煩わしい問題を気にする必要がありません。Kubernetes のその特性のおかげで、デベロッパーやオペレーターは作業を簡略化できます。また、設計機能の 1 つとして高い信頼性を獲得しているため、コンテナ オーケストレーターとしての人気が非常に高くなっています。Google Kubernetes Engine（GKE）は、VPC 内
BigQuery MLでスロット使用量が急増しているプロジェクトやユーザーを異常検知する - yasuhisa's blog
背景 どうやって異常を検知するか BigQuery MLでの異常検知 検知できるモデルの種類 共通設定 データの前準備 モデルの学習 モデルを元にスロット使用量が異常に増加していないか予測する 所感 背景 BigQueryはオンデマンドとフラットレート(定額料金)がある オンデマンドはスキャン量がお金に直結するため、INFORMATION_SCHEMA.JOBS_BY_*などを使ってクエリ警察をしている方も多いはず INFORMATION_SCHEMAに代表されるデータ管理に役に立つ現場のノウハウを最近会社のTech Blogに書いたので、そちらも見てね 一方で、フラットレートに関しては定額使いたい放題のプランであるため、オンデマンドよりはクエリ警察をしていない場合もある 見れるなら見たいが、どうしても支出に直結するオンデマンドを優先して見てしまいがち。工数も限られている が、あまりに自由
類似アイテム検索機能についてGoogle Cloud Next '19 in Tokyoで技術発表をしました - ZOZO TECH BLOG
こんにちは。MLOpsチームリーダーのsonotsです。 先日のプレスリリースで発表しました通り、ZOZOTOWNに「類似アイテム検索機能」を追加しました。この機能の技術要素について先日開かれた Google Cloud Next '19 in Tokyo で、本プロジェクトからは2件発表してきました！ 技術要素が気になる技術オタクの皆様におかれましては、ぜひ資料と動画をご覧ください！ ZOZO画像検索でのMLOps実践とGKEインフラ アーキテクチャ 筆者（そのっつ）の発表になります。発表の概要は以下になります。 ZOZOのAIプロダクトであるZOZO画像検索の概要とアーキテクチャについて紹介します。GKE（Google Kubernetes Engine）とgRPCを使った機械学習APIサーバの構築、Cloud Composerを使った定期的なモデルの更新について話します。特に、Kub
gokartのMLパイプラインをKubernetesで並列分散実行できるライブラリkannonを作った話 - エムスリーテックブログ
初めまして！2023年3月前半にエムスリーのAIチームで10日間インターンに参加していた小栗 (@irungo_ic )です。 インターンでは、エムスリー発の機械学習パイプラインOSSであるgokart をKubernetes上で高速にかつ簡単に実行できるようになるライブラリであるkannon('cannon'と同じ発音！)をゼロから実装し、OSSとして公開しました。 github.com この記事ではkannonの技術的な解説、インターンに参加した感想をお伝えします！ gokartの概要 gokartの抱えていた課題 シングルスレッドでの逐次実行により実行時間が長くなってしまう GKEのリソースを効率的に使えない kannonの概要 kannonの使い方 gokart kannon gokart kannon 補足 kannonのアーキテクチャ kannonの実装 1. Task Que
GoとCobraを用いた新規マイクロサービス用ボイラープレートの自動生成CLIツールでコスト削減した話 - Gaudiy Tech Blog
こんにちは。ファンと共に時代を進める、Web3スタートアップ Gaudiy でソフトウェアエンジニアをしている ryio1010です。 私は弊社が提供するファンコミュニティプラットフォーム「Gaudiy Fanlink」の開発において、フィーチャーチームの一員として、主にバックエンド開発を担当しています。 バックエンドのアーキテクチャにはマイクロサービスを採用していますが、会社のフェーズ的に試行錯誤の段階であることや、それに伴うチーム体制の変更がよく起きていることもあり、新しいマイクロサービスの立ち上げも頻繁に行われています。 私自身もこれまでの業務で2〜3つの新しいマイクロサービスを立ち上げる経験をしてきました。 今回は、これらのマイクロサービスの立ち上げと運用の経験から、特に立ち上げフェーズにフォーカスし、改善を行った事例をご紹介したいと思います。 1. マイクロサービスの概要とGau
KubeCon + CloudNativeCon North America 2022参加レポート〜3年ぶりのアメリカ現地開催の様子とセッション紹介〜 - ZOZO TECH BLOG
こんにちは。計測システム部SREブロックの西郷です。 10月24日から10月28日にかけてKubeCon + CloudNativeCon North America 2022（以下、KubeCon）が行われました。今回弊社からはWEARやZOZOTOWNのマイクロサービス基盤、計測システムに関わるメンバー7名で参加しました。 本記事では現地の様子や弊社エンジニアが気になったセッションについてレポートしていきます。 目次 目次 3年ぶりにアメリカでの現地開催となったKubeCon現況 参加メンバーによるセッション紹介 Istio Today and Tomorrow: Sidecars and Beyond Cloud Governance With Infrastructure As Code (IaC) With Kyverno And Crossplane - Dolis Sharm
こんにちは、MLデータ部データ基盤ブロックの奥山（@pokoyakazan）です。趣味の範疇ですが、「ぽこやかざん」という名前でラジオ投稿や大喜利の大会に出たり、「下町モルモット」というコンビで週末に漫才をしたりしています。私は普段、全社データ基盤の開発・運用を担当しており、このデータ基盤はGCPのBigQuery上に構築されています。そして、データ基盤内の各テーブルは、大きく分けて以下の2種類に分類されます。 システムDBのデータやログデータなどが、特に加工されることなく連携されている一次テーブル 一次テーブルから必要なデータを使いやすい形に集計したデータマート 本記事では、後者のデータマートを集計するジョブを制御するワークフローエンジンを、DigdagからCloud Composerに移行した事例について紹介します。Cloud Composerとは、GCPにてApache Airflo
Knativeで作るDIY FaaS / serverless days tokyo 2019 knative workshop
Knativeで作るDIY FaaS / serverless days tokyo 2019 knative workshop
こんにちは、食べログシステム本部長の京和です。 今年の4月から本部長になりました。さらに4月に娘が生まれました 本エントリでは食べログで1年を通じて取り組んだ、大規模なレガシーシステムの段階的な改善について紹介します。[翻訳] Shopifyにおけるモジュラモノリスへの移行 に続いて2記事目のアドベントカレンダーになります。 どのように段階的に進めるか 食べログは今年で15年目のサービスで、Railsになってからは13年が経過しています。これだけ歴史があればあちこちにガタが来ているのは当然で、無数にある課題に対してどこからどのように取り組んでいくかを最初に決める必要がありました。 まず最初の前提として以下のように考えました。 既存のビジネスや開発を止めるような悪影響を与えない。むしろなるべく早くポジティブな影響を与えていきたい。 これだけ歴史のあるシステムを改善していくのは長い時間がかかる
Data Reliability Engineering をはじめた話 | メルカリエンジニアリング
こんにちは、メルカリUS でData Engineerをしている @hatone です。 メルカリUSのData Engineering Team(DEチーム) では、MLやBI、会計、マーケティングなど、多岐にわたるチームとプロダクトにデータを提供する必要不可欠なパイプラインを担当しています。 今年の7月に Data Reliability Engineering Team (DRE: データ信頼性エンジニアリングチーム) というチームを立ち上げました。日々増え続けるDB上のレコードとそのデータの活用を滞りなく実現するため、Data Engineeringに対しDevOpsとSREの原則を適用することでスケールさせていこうとしています。 Mercari Advent Calendar 2022 の19日目では、チーム各々が安心してデータを利用できるようプロジェクトパイプラインの監視・自動
はじめにKubernetes クラスタやその上で動くワークロードに対する脅威は多様化しており、クラスタ コンポーネントだけではなくコンテナ アプリケーションやソフトウェア サプライチェーンも含めた多層的な防御が求められます。 Google Cloud では Google Kubernetes Engine (以降 GKE) やその周辺エコシステムにおけるセキュリティ機能が活発に開発されており、これらの機能を上手く活用することで Kubernetes 環境の多層防御を実現可能です。 とはいえ、Google Cloud で提供している コンテナ セキュリティ関連機能 / サービスは種類が多すぎて何がなんだか分からない方も多いのではないでしょうか。本記事では、GKE 周辺のセキュリティ機能 / サービスの概要や使い所、おすすめの設定等について紹介していきます。 ちなみに本記事は Cloud Na
あえて手動アップグレードを選ぶ〜マネージドサービス(GKE)で手作業による対応をした話〜 - MonotaRO Tech Blog
こんにちは。データ基盤グループ データエンジニアリングチームの宮口です。 この記事ではGoogle Cloud Platform（以下、GCP）のサービスの1つであるGoogle Kubernetes Engine（以下、GKE）のクラスタを手動アップグレードした話を紹介します。 私が所属するデータエンジニアリングチームでは、社内システムに保存されたデータをGCPのBigQueryにニアリアルタイムで同期するシステムや、BigQueryに保存されている大容量のデータを低レイテンシなAPIとして提供するシステムなど、モノタロウのビジネスを裏側で支えるシステムの管理を行っています。それらのシステムは全てのコンポーネントをコンテナ化しており、その実行環境としてGKEを採用しています。 また、それとは別に社内でGKE共通環境と呼んでいる、マルチテナント方式のクラスタによるアプリケーション実行基盤を
タクシーアプリ「GO」、法人向けサービス「GO BUSINESS」、タクシーデリバリーアプリ「GO Dine」の分析基盤を開発運用している伊田です。本番DBから分析基盤への連携処理を改善した事例を紹介します。※ 本記事の対象読者はETLツールを利用している方を対象にしています はじめに本記事では、タクシーアプリ「GO」の DB から分析基盤への同期処理を約7時間から約10分に改善した事例を紹介します。まず、既存の処理および改善前の状況を説明し、次に改善にあたり実施した分析、その分析をもとにチーム内で実施した議論を経て、最終的にどのような実装を行ったのか紹介させて頂きます。 同期処理についてGO の DB は Cloud SQL 上で構築されており、分析基盤への同期処理は GKE 上で Embulk を起動し、リードレプリカに対してクエリを投げて一度 GCS に結果を格納します。その後、GC
DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering
はじめに こんにちは。インフラエンジニアの松浦です。 IT 基盤部に所属し、全世界向けのゲームタイトルのインフラ運用を担当しています。 先日あるプロジェクトで Google Kubernetes Engine (以降 GKE) でインフラを構築することになり、そこで GKE のコスト削減のために、 ノード 数削減すなわち Pod 集約率の向上 (1台のノードで出来るだけ多くの Pod を動かす) に取り組みました。 今回はそこで行ったことをご紹介します。 概要 今回のプロジェクトでは、 Kubernetes (以降 K8s) の Horizontal Pod Autoscaler 使用してアプリケーション Pod をオートスケールさせます。 このため、スケールアウト・スケールイン後 (Pod の増減により クラスタオートスケーラー (以降 CA) がノードを増減させた後) でも、Pod 集
![DeNA 的 GKE 運用 ~ Pod 集約率編 ~ [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/1252489982a7fafcf1805c0cb00d4c02b4ee5b92/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2023%2F06%2Fgke-optimization%2Fcover.png)
SDPFクラウド/サーバー ESIチームにおけるCI改善の取り組み - NTT Communications Engineers' Blog
この記事は、 NTT Communications Advent Calendar 2022 10日目の記事です。 こんにちは！ SDPF クラウド/サーバー ESI チーム入社1年目の飯國 (@guni1192) です。 普段は SDPF クラウド/サーバーにおけるネットワークコントローラ ESI (Elastic Service Infrastructure) を開発しています。 今回は ESI チームにおける CI 改善の取り組みについて紹介します。 CI/CD をセルフホストしている方向けに、CI の Workflow や実行基盤の改善の一例として参考になればと思います。 今までの ESI チームの CI 基盤の課題 ESI チームでは Jenkins を運用していました。 ESIの開発当初(6、7年前)から大きく構成は変わっておらず、チーム内から以下のような問題点があげられました
Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」発行主旨・内容紹介 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」目次 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」Amazonでの購入はこちら 「Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門」楽天市場での購入はこちら※電子書籍版です。 Nuxt.jsとPythonで作る！ぬるさくAIアプリ開発入門 インプレスグループで電子出版事業を手がけるインプレスR&Dは、技術書典や技術書同人誌博覧会をはじめとした各種即売会や、勉強会・LT会などで頒布された技術同人誌を底本とした商業書籍を刊行し、技術同人誌の普及と発展に貢献することを目指し、最新の知見を発信する「技術の泉シリーズ」から2020年1月の新刊として、デ
道を照らす: プラットフォーム エンジニアリング、ゴールデンパス、セルフサービスのパワー | Google Cloud 公式ブログ
※この投稿は米国時間 2023 年 9 月 12 日に、Google Cloud blog に投稿されたものの抄訳です。 入社したばかりの Java デベロッパーが、簡単な Java サービスを作る仕事を割り当てられたとしましょう。DevOps モデルでは開発チームと運用チームが責任を共有するので、Java コードだけでなく、ビルド パイプラインやモニタリング計測のような運用コードの作成も求められるかもしれません。しかも、クラウド プラットフォームは以前の仕事で覚えたものとは異なります。 あっという間に YAML ファイルの山に溺れ、簡単な Java サービスの構築が難事業になってしまいました。決めなければならないことがたくさんあります。コードの構成はどうしよう？継続的デリバリーにはどのツールを使用したらいいのだろう？ DevOps モデルは開発者に耐えられないほどの学習の手間をもたらすこ
元AWSエンジニアがGoogle Cloud Professional Cloud Architectを取得した話
こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。 前回の記事「PostgreSQLのメモリアーキテクチャを知る」を読んでいただいた方々、ありがとうございます。 こんにちは、GMOアドマーケティング インフラ開発部のhakumaiです。前回の記事「AWSエンジニアがGCPメインの会社に転職してみた」を読んでいただいた方々、ありがとうございます。 今回は2回目の投稿になります。前回と同様に、「AWSエンジニアから見たGCP」のような記事を書こうと思っていましたが、最近業務で触れたPostgreSQLのメモリ周りの話があまりにも濃かったので、今回はPostgreSQLのメモリアーキテクチャを題材にお話しいたします。(「AWSエンジニアから見たGCP」の続編は次回以降改めて執筆いたします。) hakumai... 先日、Google Cloud のProfessional
関連キーワード SDN（Software Defined Networking） | オープンソース | Docker 第9回「『Kubernetes』を使うなら、まず知っておきたい『Flannel』と『Calico』の通信」は、「Pod」（コンテナの集合体）同士の通信を実現する仕組みとして、オープンソースのCNI（Container Networking Interface）プラグインを紹介しました。コンテナオーケストレーター「Kubernetes」はクラウドサービスで利用することも一般的になっています。今回はクラウドサービスにおけるKubernetesのネットワークの仕組みを紹介します。 併せて読みたいお薦め記事 コンテナの基礎知識 いまさら聞けない「Kubernetes」と「Rancher」の違いとは？ いまさら聞けない「OpenShift」と「Kubernetes」の基礎 どう違う
イラストではじめる「Kubernetesの動かしかた」～Kubernetesクラスタを用意し、Podを作ってコンテナを起動しよう
本連載ではKubernetesの簡単な説明からはじまり、開発者の方にとってKubernetesを利用することで何が嬉しいのか、どのように開発フローが変わっていくのかについて、イラストを交えながら紹介します。今回は、実際にKubernetesを触ってみる方法をご紹介します。まだまだ理解が怪しいと思っていても、触ってみると知識が深まることもあるでしょう。特にローカルクラスタを作ってさえしまえば、いくら壊しても大丈夫です。 kubectlをインストールしよう この回ではKubernetesクラスタの作成方法と、作成したクラスタに対してPodを作成する方法などを説明します。 Kubernetes環境の作成方法は色々ありますが、ローカルからkubectlを利用してKubernetesクラスタのAPIサーバと接続する必要がある場合がほとんどですので、まずはkubectlをインストールしましょう。Kub
[DevOpsプラットフォームの取り組み #3] Infrastructure as Codeの課題とCloud Native Adapter - NTT Communications Engineers' Blog
はじめに DevOpsプラットフォームの取り組みを紹介する3回目の記事です。 Qmonus Value Streamのアーキテクトの牧志 (@JunMakishi) です。 本記事では、Qmonus Value Streamの独自技術であるCloud Native Adapterを紹介します。はじめにInfrastructure as Codeの課題を指摘し、Cloud Native Adapterを使ってこれらの課題をどう解決するのかを解説します。 Infrastructure as Codeの課題 Infrastructuer as Code (以下IaC) は、特定のツールを指すのではなく、インフラストラクチャをコードで記述し、ソフトウェアと同じように取り扱うプラクティスを指します。インフラストラクチャのリソース構成や設定をコードで記述・適用することで、再現性、一貫性、および透明性の
![[DevOpsプラットフォームの取り組み #3] Infrastructure as Codeの課題とCloud Native Adapter - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/996b3f4ef0d0fed0fd17fad7d52c7c250829cf1f/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20220720%2F20220720081548.png)
株式会社Colorful Palette：GKE で構築されたリアルタイム通信エンジン『Diarkis』の導入で約 10 万ユーザーがバーチャル ライブに同時接続し体験を共有 | Google Cloud 公式ブログ
株式会社Colorful Palette：GKE で構築されたリアルタイム通信エンジン『Diarkis』の導入で約 10 万ユーザーがバーチャル ライブに同時接続し体験を共有 2020 年 9 月にリリースされ、わずか半年で早くも 300 万ダウンロードを突破したスマートフォン向けリズム＆アドベンチャー ゲーム『プロジェクトセカイ カラフルステージ！ feat. 初音ミク』。そのサービスを支えるリアルタイム通信エンジン『Diarkis』は Google Kubernetes Engine（GKE） 上で動作しています。年末年始のカウントダウン イベントでは 10 万ユーザーに迫る同時接続があったという本サービスが、どのようにしてその難局を乗り切ったのか、開発に携わるエンジニアの皆さんにお伺いしました。 （利用している Google Cloud ソリューション） アプリケーションのモダナイゼ
GKE 1.20+ で preemptible / spot VM とうまく付き合う | GREE Engineering
インフラの駒崎です。 Google Kubernetes Engine (GKE) の 1.20+ で有効な kubelet graceful node shutdown と、それを活用した preemptible VM の利用について書かせていただきます。 GCP の Preemptible VM とは Preemptible VM は、いくつかの制限があるかわりに通常のインスタンスよりも安く利用できるインスタンスです。制限はいくつかありますが、最も留意すべきは 「いつでも停止される可能性があり、最長でも起動から 24 時間で停止される」点でしょうか。 ※ Preemptible VM の新バージョンとして Spot VM もアナウンスされました (2021/10/13 現在 preview) 。 Graceful node shutdown GKE 1.20 以降のバージョンでは ku
Scaling Kubernetes Tenant Management with Hierarchical Namespaces Controller | メルカリエンジニアリング
Scaling Kubernetes Tenant Management with Hierarchical Namespaces Controller Author: @deeeeeeeet from Platform Developer Experience Team Three years ago, we took the decision to break our monolithic API into microservices, and move from the physical machine deployment on-premise to container deployment on GCP by using Google Kubernetes Engine (GKE). We architected our Kubernetes cluster with multi
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
Magic Moment の @aqlwah です。 私たちが開発している Magic Moment Playbook では、インフラにGoogle Cloudを活用しています。 このたびGoogle Cloud Japan様よりご招待をいただき、特別トレーニングプログラム「Google Cloud Innovators Gym Japan」に参加してきましたので、そのレポートをお届けしたいと思います。 Google Cloud Innovators Gym Japan とは 「Google Cloud Innovators Gym Japan」（以下、G.I.G.）とは、Google Cloudが主催しているGoogle Cloud利用者向け技術スキル習得プログラムです。 3回のオンラインセッションと無料のCoursera講座を用いて学習を進め、Google Cloud認定資格の取得（な
こんにちは。Enigmoインフラエンジニアの夏目です。 この記事は Enigmo Advent Calendar 2020 の13日目の記事です。 なんだか競馬関連のエントリがいっぱいですが、弊社の主要サービスは競馬予想サイトではありませんので誤解なきよう。僕は競馬のことはさっぱりわからないのですが、先月末のジャパンカップは大変熱いレース展開でしたね。着順自体はまったく面白みがなく収支マイナスになってしまいましたが。 さておき。1年前と同様、今年もKubernetesクラスタ運用に翻弄される日々を過ごしておりまして、今日の記事はそんなKubernetes...というかAmazon EKSクラスタに関するお話です。 Kubernetesのリリースサイクルに乗り遅れるな 皆さんご存知の通りKubernetesのマイナーバージョンはおよそ3ヶ月ごとにリリースされ、各マイナーバージョンは最新バージ
こんにちは。Mercari Advent Calendar 2019の20日目は、AIチーム所属エンジニアのlain_m21が担当させていただきます。 一度出したサービスはそのまま放置せず、何度も改善させていくものです。特に機械学習を用いたサービスを改善させていく際には、精度向上がどれほどのビジネスインパクトがあるのか、どの指標を用いてモデルを改善していくべきなのか、ということを常に考える必要があります。それらを検証するために、オンラインでモデルを高速にテストする仕組みが必要だったので作った、という話をします。 背景 機械学習を用いたサービスは、開発時には何かしらの精度指標を最適化するようにモデルを学習させます。しかし、その精度向上が実際にはどれほどのビジネス的なインパクトに繋がるかは、プロダクション環境に出すまでわからないことがとても多いです。 例えば、出品時に商品の提示価格をサジェスト
こんにちは。メルカリでSoftware Engineerをやっているakkie30です。 この記事は、Mercari Advent Calendar 2021 の5日目の記事です。 私のチームでは半年ほど前からGoのORMライブラリとしてentを採用しています。本記事ではentに関する知見を紹介したいと思います。 entとは 新しいMicroserviceを実装する際に必ず議論になるのが、データベースと、そのデータベースの読み書きを行うライブラリの選定です。メルカリのMicroservicesでは主にGCPを採用しているため、Spanner, CloudSQL, BigTable, Datastoreなどを用いることが多いです。 私のチームでは現在新規サービスを開発しており、サーバ費用を低く抑えつつ機能性も求めた結果CloudSQLを採用しています。Souzohの技術選定にも影響を受け、私
この記事はMLOps Advent Calendar 2020の17日目の記事です。 もともとはGoogle Cloudからもうすぐ出てくる予定のFeature Storeの紹介でも書こうかと思ったのですが、まだ出てこないな...と思ってたら、Google Cloud ソリューションアーキテクトの中井さん（@enakai00）がいい感じのサーバレスMLOpsソリューションをタイミングよく公開されてたので、紹介させていただくことにしました。 できた。https://t.co/COMDamTMQb This example shows how you can use Cloud Run and Cloud Workflows to create a simple ML pipeline. The ML usecase is based on the babyweight model examp
はじめに お仕事でプリセールスをしているため、お客様やSIパートナー様といっしょに「ぜったいにサービスを止められないシステム」について議論することが多くあります。 一方、クラウドはオンプレに比べてスケーラブルな構成をとることが得意です。したがって、ユーザーの利用が時間的にばらつきがあるシステムやスパイクアクセスが発生するシステムなどの場合は、クラウドを提案する良いチャンスだったりもします。 このブログではそのようなニーズを満たすクラスターを運用するときに気を付けたいことや、私自身が検証していて気づいたことをホワイトボードに書く感覚で、だらだらと書きとめます。 なお、本内容はたまたまAzureが提供するKubernetesマネージドサービスである「Azure Kubernetes Service（以下AKS）」を使って検証しましたが、基本的な考え方はやGoogle CloudのGKEやAWS
KubernetesベースのCI/CDシステムProwに入門してみた | CyberAgent Developers Blog
こんにちは、技術本部 OpenSaaS Studioでサーバサイドエンジニアをしている安里です。2019年5月に開催された社内勉強会のレポートをお届けします。 技術本部ではエンジニアの技術向上を目的として定期的に勉強会を開催しており、 今回は同じくOpenSaaS Studioのメンバーである安井さん(@gkuga)に講師をお願いし、ProwというKubernetesベースのCI/CDシステムの勉強会を行いました。 勉強会の様子 Prowについて 勉強会の前半では、こちらの資料をもとにProwの成り立ちや機能、仕組みが説明されました。 KubernetesのCI/CDは元々Jenkinsで行なっていましたが、以下のような運用上の課題を抱えており、これらを解決するためにProwが開発されたとのことです。 Jenkinsのバージョンを上げる際に全ノードを停止する必要がある Githubと連携す
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker: Accelerated Container Application Development
Google CloudとHugging Faceが提携 AI開発者にH100などのパワーを提供へ
ノア・スミス「新しい労働運動のステキなところ」（2022年5月17日）
Cloud Composerにデータマート集計基盤を移行しました - ZOZO TECH BLOG
食べログの大規模なレガシーシステムを段階的に改善していく取り組み - Qiita
セキュアな GKE クラスタを構築するために知っておきたいポイント 2022 年夏（前編）
分析基盤へのデータ同期を約40倍早くしてみた | MoT Lab (GO Inc. Engineering Blog)
データ分析からAIアプリ開発まで優しく解説した書籍 - mojiru【もじをもじる】
「EKS」「AKS」「GKE」のコンテナ理解に役立つVPCやVNetの通信とは？
Cloud RunのDirect VPC Egressを解説 - G-gen Tech Blog
Google Cloud Innovators Gym Japanに参加してきました
Amazon EKS アップグレードにてこずった話 - エニグモ開発者ブログ
機械学習モデルを高速にオンラインテストする仕組みを作った話 | メルカリエンジニアリング
entを使った省エネバックエンド開発 | メルカリエンジニアリング
Cloud RunでサーバレスMLOpsを試してみた - Qiita
高可用性かつスケーラブルなKubernetesクラスターを運用するときに気を付けたいこと - Qiita