GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
GKEとEKS
GKEとEKS Kubernetes meetup 〜オンプレ?クラウド?事例共有会〜 2020/10/08 株式会社ZOZOテクノロジーズ SRE部 MLOps、プラットフォームSRE リーダー、CSIRT、SRE スペシャリスト 瀬尾 直利 Copyright © ZOZO Technologies, Inc.
「今すぐコンテナを使い始めたい人のためのAmazon ECSとAWS Copilot」というタイトルで登壇しました #AKIBAAWS | DevelopersIO
コンサル部のとばち（@toda_kk）です。 先日、弊社主催のオンラインイベント AKIBA.AWS ONLINE #2 にて、コンテナ初心者向けにAmazon ECSとAWS Copilotについて登壇しました。発表資料や、登壇内容を決めた経緯などを共有します。 動画 発表資料 サンプルコード 発表にあたって、実際にAWS Copilotを使い始められるようにサンプルコードを用意しました。ぜひご活用ください。 わかりづらいところや、もっとこうしてほしいといったご要望があればフィードバックいただけると嬉しいです！ 発表内容を決めた経緯 インフラエンジニアからみたコンテナ利用 私は、普段のコンサルティング業務ではECSやEKSといったコンテナ関連のサービスについて担当することが多いです。そのため、ありがたいことに社内のチームメンバーからコンテナについてしばしば相談を受けることがあります。 そ
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020
AWS、マネージドサービスで監視ツールの「Prometheus」と監視データを可視化する「Grafana」を提供すると発表。AWS re:Invent 2020 Amazon Web Services（AWS）は、オンラインで開催中のイベント「AWS re:Invent 2020」で、監視ツールの「Prometheus」をマネージドサービスとして提供する「Amazon Managed Service for Prometheus」と、監視などで収集したデータをダッシュボードなどにより可視化する「Grafana」をマネージドサービスとして提供する「Amazon Managed Service for Grafana」の提供を発表しました。 クラウドネイティブなアプリケーションにおいては、アプリケーションの状態をつねに把握し迅速に対応する必要性が高まることから、アプリケーションの「可観測性」へ
はじめに こんにちは！今回はANDPADの各種ログを分析するためのデータ基盤を担当しているエンジニアからデータ基盤の変遷について紹介させていただきます。ANDPADのデータ基盤に興味がある方はぜひ過去の記事も合わせてご覧ください。 tech.andpad.co.jp tech.andpad.co.jp 本記事では過去のデータ基盤が抱えていた課題と、チームがどうやってその課題を解決してきたか*1について紹介します。 基盤の構成 各種データソースからログを収集し BigQuery に投入する部分が本記事のスコープとなります。 過去の基盤は Amazon EKS 上で Digdag+Embulk を使用していました。 現在の基盤は Amazon ECS 上で Luigi を使用しています。 過去のデータ基盤 新しいデータ基盤 *2 課題 データの量 過去のデータ基盤には処理データ量に比例して処理
Kubernetesネイティブなワークフローエンジンとは！FAANSでArgo Workflowsを導入した話 - ZOZO TECH BLOG
はじめに こんにちは。ブランドソリューション開発本部 バックエンド部 SREの笹沢（@sasamuku）です。 ZOZOではショップスタッフの販売サポートツール「FAANS」を2022年8月に正式リリースしました。FAANSはアパレルのショップスタッフ様を支援する様々な機能を提供しています。例えば、ZOZOTOWN上で実店舗の在庫取り置きができる機能や、コーディネート投稿の機能などがあります。投稿されたコーディネートはZOZOTOWNやWEAR、Yahoo!ショッピングに連携が可能で、今後はブランド様のECサイトとも連携できる予定です。これによりお客様のコーディネート選びをサポートし購買体験をより充実したものにします。機能の詳細に関しましては下記プレスリリースをご覧ください。 corp.zozo.com 今回はFAANSで採用しているワークフローエンジン「Argo Workflows」につ
Rails+PostgreSQL+Apartmentでたった1行の変更がレスポンスタイムを3倍速にした話 - KAYAC engineers' blog
こんにちは！ Tech KAYAC Advent Calendar 2023 11日目を担当する荒賀(@ken39arg)です。 在籍期間15年と弊社の中でかなり古参になってしまった私ですが、アドベントカレンダーを年に2本書くのは初めてです。1 今回の内容は、今年7月に無事に成功したお仕事の話で、完了したらブログに書くように言われていたものです。 が、どうしても筆が進まず、のらりくらりと逃げていたのですが、良い年越しをするためにいい加減書いておくか〜という内容です。 TL;DR Rails + PostgreSQL + Apartment という構成のサービスで下記の1行の設定変更コミットを取り込んだ結果・・・ $ git log -n1 -p 64b39f258e9adde2e55752e4f1d5b6be12bcb216 commit 64b39f258e9adde2e55752e4f
【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー | Amazon Web Services
Amazon Web Services ブログ 【開催報告】「夏のAWS Kubernetes 祭り！〜Kubernetesの運用最前線を紹介〜」セミナー こんにちは！アマゾン ウェブ サービス ジャパン合同会社 コンテナサービス事業開発担当の勝間田です。 2022 年 8 月 4 日(木)に Amazon Elastic Kubernetes Service (EKS) の使用事例を中心とした「夏の AWS Kubernetes 祭り！〜Kubernetes の運用最前線を紹介〜」イベントをオンライン開催いたしました。 当日は 500 名強のお客様にご参加いただき、株式会社ZOZO様、Chatwork株式会社様、株式会社サイバーエージェント様、freee株式会社様、スマートニュース株式会社様、株式会社マネーフォワード様の 6 社のお客様に登壇いただきました。実際に Kubernetes
こんにちは。計測プラットフォーム本部バックエンド部SREチームの市橋です。 私たちのチームではZOZOSUIT、ZOZOMAT、ZOZOGLASSといった計測技術に関わるシステムの開発、運用を担当しています。現在のZOZOMATとZOZOGLASSは、どちらも独立したEKSクラスタ上で動いていますが、ZOZOGLASSの環境を構築する際に将来のマルチテナント化を踏まえ大きく設計を見直しました。今回は、この設計見直し時に考慮した点を紹介します。 ZOZOGLASSとは ZOZOGLASSは顔の情報を計測し、イエローベースとブルーベースの2タイプ、及び春夏秋冬の4タイプの組み合わせからなるパーソナルカラーを診断するサービスです。計測した顔の情報から肌の色に近いファンデーションを推薦します。2021年7月時点で、ZOZOGLASSが推薦するコスメアイテムはファンデーションのみですが、今後はファン
mirage-ecsで各メンバー専用開発サーバーを実現！まちのコインの運用事例を紹介します - KAYAC engineers' blog
SREチームの長田です。 突然ですが、 mirage-ecs というツールをご存知でしょうか？ 今回はこのツールをまちのコインの開発チームでの使用例をもとに紹介します。 coin.machino.co mirage-ecs を使うと動作確認用のサーバー環境を、サーバーサイドのエンジニアでなくとも自由にいくつでも立ち上げることができるようになります。 「環境」は AWS のECSクラスタ上で起動し、専用のURLが割り当てられ、 認証*1を通過すればどこからでもアクセスできます。 これにより 「クライアントアプリとつなぎ込んで動作確認したいけど、開発環境が空いてないから確認できない」 や、 「プロダクトオーナーに新機能を確認してもらいたいけど、開発環境が空いてないから(以下略)」 といった問題が解消し、 開発と動作確認のサイクルをスピーディーに回すことができるようになります。 mirage-e
Fargate利用費最大52%オフの衝撃！Savings PlansによるFargateの利用費削減を検討する ｜ Developers.IO
「Fargate便利だけど、RIとかスポットインスタンスとか使えないよなぁ」 ホストインスタンスを一切気にせずコンテナワークロードを扱えるAWS Fargate。サービス開始当初は、EC2の料金のほぼ1.5倍ぐらいしていたのが、2019年1月に35%〜50%値下げされ、料金面で使いやすくなっていました。 これでも十分に扱いやすくなっていたのですが、昨日のアップデートにより新たにSavings Plansという超ド級の料金体系が突如発表されました。 Introducing Savings Plans これにより、Fargateにおいても事前に利用費をコミットすることで、オンデマンド価格より最大52%割安価格で利用することが可能になっています！ Fargate新料金プランきたか…!! ( ﾟдﾟ) ｶﾞﾀｯ / ヾ ＿_L| /￣￣￣/＿ ＼/ / Savings Plansの概要 I
久々の「突撃！隣のDevOps」の記事です。今回はリブセンスの「転職会議」を開発している部署にDevOpsに対する取り組みや考え方、組織文化についてインタビューしてきました。 今までのシリーズとは異なりリブセンスに伺わずにリモートでのインタビューでした。 なので突撃もしておらず、会社の位置関係的にもそこまで隣じゃないDevOpsです。 リブセンスについて まずはリブセンスがどのような会社でどのような業務を行っているか、インタビューの担当者様について紹介してきます。 サービス内容 人材領域・不動産領域といった、人生の大きな意思決定が必要になる場面での情報の非対称性を課題ととらえ、それを解決するようなサービスを運営しています。口コミによる企業情報の透明化・マッチング精度向上に挑む「転職会議」、エンジニアの競争入札型転職メディア「転職ドラフト」、成功報酬型でより多くの求人案件から適職を提案する「
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など
PulumiがKubernetesへの本格対応を発表。GitOps対応、YAMLからPulumi Pythonへの変換機能など コードを用いてAWSやAzureをはじめとするさまざまなITインフラの状態を記述できる、いわゆるInfrastructure as Codeツールの「Pulumi」が、Kubernetesへの本格対応を発表しました。 Are you a #Kubernetes user and a fan of #InfrastructureAsCode? Checkout Pulumi's new superpowers out today: Deployment automation New ecosystem integrations like @OpenPolicyAgent ✈️ Migration tools convert YAML to modern code h
EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話 - ZOZO TECH BLOG
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、Argo CDと拡張ツールArgo CD Image Updaterを導入した開発環境のCDリアーキテクトを行いました。本記事では、開発環境のCI/CDリアーキテクト設計とArgo CD Image Updaterの導入手順について紹介します。 目次 はじめに 目次 Argo CDとArgo CD Image Updaterについて Argo CD Image Updater導入前の課題 Argo CD Image Updater導入による開発環境CI/CD設計 導入手順 Argo CD Image UpdaterのECR操作権限設定 IAMRoleの作成とPodへのアタッチ PodのECR認
第1回～第4回で、Amazon Web Services（AWS）が提供するマネージドKubernetesサービス「Amazon Elastic Kubernetes Service（EKS）」を用いた「Kubernetes」環境の構築や、Kubernetesを利用したアプリケーションの公開までを解説しました。この2つの能力があれば、ITサービスを通じてユーザーに価値を提供することができます。パン屋さんで例えるとパン（アプリケーション）を店頭で並べられるようになった（公開）といったところでしょうか。 パンを焼いて店頭に並べる一連の作業は、もちろん1回で終わるものではなく、毎日繰り返すものです。毎日繰り返すには、パンを焼くための道具や機械に不具合がないように定期的に点検して、機械が不調になったときはすぐに修理したり、一時的に代用できるものをあらかじめ準備しておいたりするなどの対策が必要です。
今こそ振り返るEKSの基礎
皆さん、EKS始めるときeksctl使ってますか？コマンド一発でAWS関連リソースやインフラ一式できあがる超便利ツールですが、逆に個別のAWSリソースがどのように作成されているか、クラスターに紐づくVPCやNodeにはどのような制約があるのか、IAM周辺がどのように処理されているのか、そのあたり隠蔽されて分かりづらい部分あるんじゃないでしょうか。 このセッションでは、改めてEKS周辺のAWSリソースがどのように関連して動作しているのかを振り返りつつ、今日のEKS祭りのためのベース知識を皆さんと共有できればと思います。
広告技術部のUT(@mocyuto)です。 最近またポケモンGOをちょっとやり始めてしまいました。 今回はオンラインの広告サービスをSpotInstanceを利用したECSで構築し、2ヶ月ほど運用した話を紹介したいと思います。 はじめに アーキテクチャ設計 広告配信 ログ設計 EBSのログ運用 デプロイ設計 canaryデプロイ まとめ はじめに 今まで広告の部署では、コンテナの本番運用はバッチのみでした。 tech.gunosy.io ECS上でdigdagを運用しているものを以前紹介しましたが、オンラインでの大きなトラフィックが流入するものをECSに構築するのは初めてです。 今回、新しいサービスを作成するタイミングだったのでECS*1上にサービスを構築することにしました。 アーキテクチャ設計 今回は単一のECS Clusterに管理画面のサービスと配信系のサービスを同居させ、コスト効率
【ArgoCD🐙】ArgoCDのマイクロサービスアーキテクチャと自動デプロイの仕組み - 好きな技術を布教したい 😗
この記事から得られる知識 この記事を読むと、以下を "完全に理解" できます✌️ ArgoCDのアーキテクチャを構成するコンポーネントの種類について ArgoCDがマニフェストを自動デプロイする仕組みについて この記事から得られる知識 01. はじめに 02. 概要 アーキテクチャ レイヤー コンポーネント 仕組み (1) repo-serverによるクローン取得 (2) application-controllerによるマニフェスト取得 (3) application-controllerによるCluster確認 (4) application-controllerによる処理結果保管 (5) argocd-serverによるキャッシュ取得 (6) 管理者のログイン (7) IDプロバイダーへの認証フェーズ委譲 (8) dex-serverによる認証リクエスト送信 (9) argocd-s
こんにちは。freee PSIRTでマネージャーをやっています、ただただし（tdtds）です。この記事はfreee Developers Advent Calendar 2023 24日目です。昨日は最近freeeにグループジョインしたBundleのkouheiさんによる「Bundleの3年間をライブラリで振り返る」でした。 さて、「freeeでは新卒研修でHardeningをやってるらしい」という話は界隈ではちょっとは知られているものの、その内幕が伺えるのは、まだPSIRTがCSIRTから独立する前の2018年の記事しかありませんでした。 developers.freee.co.jp あれから5年。最近のHardening研修はどうなっているのか、アップデートしようというのが今回の記事になります。 Hardening 2023！ 細かい話はあとまわしにして、さっそく今年行われたHarde
Amazon Web Services ブログ Amazon EKS での Kubernetes アップグレードの計画 この記事は Planning Kubernetes Upgrades with Amazon EKS (記事公開日: 2021 年 5 月 3 日) を翻訳したものです。 2021 年 2 月、Amazon Elastic Kubernetes Service (Amazon EKS) は Kubernetes バージョン 1.19 のサポートを開始しました。これは、What’s New の投稿や Amazon EKS ドキュメントの更新など、通常のメカニズムを通じて発表されました。社内やお客様とのいくつかの会話の結果、AWS は Amazon EKS の Kubernetes バージョンリリースに合わせて、AWS Containers ブログ記事の投稿を行うことにしまし
はじめに Baikal について Baikal を支える技術と工夫 AWS アカウント Terraform ワークフロー基盤 Athena Lake Formation アーキテクチャ Extract & Load データ生成元 AWS アカウントにある RDS からデータ抽出 データ生成元 AWS アカウントにある DynamoDB からデータ抽出 社外の API からデータ抽出 Transform workspace に配置されたデータの変換 データ生成元 AWS アカウント内の生ログ変換 ウェアハウス内での加工 Share 今後の課題 開発の一部を他チームへの委譲 データ異常検知 BI ツールの導入 はじめに DRE チームの hyamamoto です。 新卒の方々が入社されて 4 ヶ月ということで、時の流れの速さを感じています*1。なお、現在、新卒の方々でリレー方式でブログを書いて
広告技術部のUT@mocyutoです Gunosyではニュース記事を配信運用するメディア部門とアプリ上などに広告を配信運用する広告部門があります。 （本記事では「メディア」とはグノシーやニュースパスなどのサービスを指し、「広告」はそのメディアに出す広告を指します。） 今回は広告部門が運用している広告システムのスケールの仕組みについて紹介します。 課題 解決策 仕組み スパイクスケーリング スケジュールスケーリング スケールのロジックを記述 まとめ 課題 メディア側のシステムは各サービスごとにチームが分かれており、それぞれ別のシステムで稼働しています。 しかし、広告側のシステムは単一のシステムで動いており、各メディアの広告配信すべてを担っています。 そのため、サービスが増えるごとにトラフィックが増える仕様になっています。 特に速報などのプッシュ通知をメディアが送信すると一気にユーザはアプリを
Amazon EKSでIngress Controllerに何を採用するか検討した | PSYENCE:MEDIA
こちらの内容は2019年5月当時のものです。内容が古くなっています。 当時はalb-ingress-controllerという名前でしたが、aws-load-balancer-controllerとなり、ingressのグルーピングの機能も追加されています。 最新のものは以下の記事で紹介しています。 TargetGroupBinding を使って AWS EKS で Kubernetes を無停止かつ DNS 切り替え無しでバージョンアップしました こんにちは、スタディサプリ ENGLISH SREグループの大島です。 現在、Amazon Elastic Container Service for Kubernetes（以下EKS）を本番運用するにあたって各要素について検討を行なっています。今回は、その一貫でAmazon EKSでIngress Controllerに何を採用するかについて
[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO
こんにちは、大阪オフィスの丸毛（@marumo1981）です！ ただいま開催されている、re:Invent 2019のキーノートにて、コードレビューの自動化サービス「Amazon CodeGuru」が発表されました。 Amazon CodeGuru とは？ CodeGuru は機械学習に最適なパフォーマンスと、ベストプラクティスに沿ったコードをユーザに提供するための自動化されたコードレビューサービスです。以下の2つの機能を提供します。 CodeGuru Reviewer CodeGuru Profiler CodeGuru Reviewer コードレビューの自動化 - ソースコードのプルリクエストを自動的に分析して重要な問題を見つけ、プルリクエスト内でコードの欠陥を直接解決するためのインテリジェントな推奨事項を提供 高速で信頼性の高いコードの問題検出 スレッドセーフの問題、非サニタイズされ
![[速報] コードレビューの自動化！パフォーマンスやコストの最適化まで出来ちゃう Amazon CodeGuru が発表されました！#reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a298426174d5914a0e9708095c8dd40c4722cc0d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_newservice_eyecatch.jpg)
kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog
はてなで働くエンジニアにアンケートシリーズ第20回は、サービスプラットフォームチームのSRE、id:masayosuに話を聞きました。 社内に「まさよし」が複数いて紛らわしい SREメンバーでEKSとGKEの2つをキャッチアップ 自分の中にkubernetesの知識が蓄積されていった ここまでオープンな会社はこれまで経験したことがなかった 社内に「まさよし」が複数いて紛らわしい ── Q1. はてなidとその由来を教えてください TwitterのIDが@masayosuなので、はてなidもTwitterと同じ文字列を利用しています。由来は本名が「まさよし」なので。 はてな社内には「まさよし」という名前やはてなidを持つ人が3〜4人くらい存在しているので、紛らわしい状態になっています。 ── Q2. いつどんなきっかけで入社しましたか？ 2020年7月に、id:hayajo_77さんの紹介で
![kubernetesをキャッチアップし、知識を蓄積していく | はてなで働く masayosu にアンケート [#20] - Hatena Developer Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/aebd9f036ff4f257bad5c8f9e02c8a062e54d129/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fh%2Fhatenatech%2F20220608%2F20220608112301.jpg)
ChatGPT関連情報の追い方、個人・業務での使い方、サービスへの組み込み方、 ABEJAでの取り組み4例、ここ2週間のトピックなど行けるところまで
Amazon ECS Fargate/EC2 起動タイプでの理論的なコスト最適化手法 | Amazon Web Services
Amazon Web Services ブログ Amazon ECS Fargate/EC2 起動タイプでの理論的なコスト最適化手法 この記事は、 Theoretical cost optimization by Amazon ECS launch type: Fargate vs EC2 を翻訳したものです。 本ブログは Julia Beck, Thomas Le Moullec, Kevin Polossat, and Sam Sanders によって投稿されました。 お客様から、 Amazon Elastic Container Service (Amazon ECS) のベストプラクティスについてご質問をいただくことがよくあります。特に、 Well-Architected Framework の コスト最適化 の柱に注目されるケースがあります。こちらに関する大きな要因の 1 つには
NTTドコモ、全国展開する5Gの無線アクセスネットワークをAWSの「Amazon Elastic Kubernetes Service Anywhere」を用いて展開すると発表
NTTドコモ、全国展開する5Gの無線アクセスネットワークをAWSの「Amazon Elastic Kubernetes Service Anywhere」を用いて展開すると発表 NTTドコモとAWSは、NTTドコモが日本全国で商用展開する5Gの無線アクセスネットワーク（Open RAN）を、AWSの Amazon Elastic Kubernetes Service Anywhere（以下、Amazon EKS Anywhere）を用いて展開すると発表しました。 5Gでは、これまで通信キャリアや通信機器ベンダごとに閉じていた基地局などの無線アクセスネットワーク（Radio Access Network）の仕様を、オープンな仕様にすることで、異なるベンダの機器を組み合わせて構築できるできるようにする「Open RAN」（Open Radio Access Network）が急速に進んでいます
KubernetesのPodを事前にスケールアウトする仕組みをCronJobで実装し、ジョブの処理遅延を低減した話 - ANDPAD Tech Blog
1. はじめに こんにちは、SWEのあかりです。 今回は、SREの角井さん（@cass7ius）と一緒に、Kubernetes(以降、K8sと表記)のPodを事前にスケールアウトする仕組みをK8sのCronJobで構築したので、その実装背景・技術選定・実装方法について実例を紹介します。 この記事を読んで得られるものは以下の3点です。 Podを事前にスケールアウトさせて、ジョブの遅延を低減した実例 技術選定時に行った定性分析の実例 Podからkubectlコマンドを実行する実装例 2. 前提の説明 掲題の実装対象は施工管理サービスであり、これは社内で最も古くから稼働しているモノリシックなRailsアプリケーションです。施工管理サービスのおおよそのインフラ・技術構成は下図の通りになっています。 施工管理サービスのインフラ構成図 上図の通り、施工管理サービスはEKSクラスター上で稼働しており、お
本記事は、Gunosy Advent Calendar 2020 7日目の記事です。 前回は、しゅんけー君の「その実験、再現できますか？pyenvとpoetryによる “そんなに頑張らない” 再現可能な実験環境構築」でした data.gunosy.io はじめに 前提条件 目指すクラスター像 使用するサービス・ツール類 K8Sを使う上での心構え 環境設計編 環境設計 リポジトリ クラスター構築・前編（EKSクラスター） クラスター構築・中編（ASG） ASG or Fargate ASG spotインスタンス はじめに Gunosyの大関と申します。いくつかのEKSクラスターとクラスター上で稼働するサービスの開発運用を、基盤レイヤーを中心に担当しています。 昨年のadvent calendarでは、こんな記事を書いていました。 tech.gunosy.io さて、今年一年で社内の様々なサー
AWS Load Balancer Controller を使った Blue/Green デプロイメント、カナリアデプロイメント、A/B テスト | Amazon Web Services
Amazon Web Services ブログ AWS Load Balancer Controller を使った Blue/Green デプロイメント、カナリアデプロイメント、A/B テスト これまで AWS をお使いのみなさまは、一般的に Flagger やサービスメッシュ、CI/CD などのソリューションを使用して、Blue/Green デプロイメント、A/B テスト、トラフィック管理をしてきました。AWS Load Balancer Controller ( 旧称：ALB Ingress Controller ) がリリースされたことで、EKS ユーザーは AWS Application Load Balancer をネイティブサポートした Kubernetes Ingress リソースを介して Blue/Green デプロイメント、A/B テスト、カナリアデプロイをすることが可能
こんにちは。Wantedly Infrastructure Squad 所属の @irotoris です。 Wantedly Visit を始めとする Wantedly のサービスのバックエンドシステムはほぼ全て Kubernetes クラスタの上で動いています。今まで kOps という OSS を使って AWS の EC2 インスタンス上に Kubernetes クラスタを自前で構築運用していましたが、2022年6月に AWS の Kubernetes Managed Service である Amazon Elastic Kubernetes Service (EKS) に移行しました。 この記事では Wantedly と Kubernetes の歴史を振り返るとともに、なぜ EKS に移行したか、移行した結果どうだったかをお伝えします。 目次 Wantedly システム基盤としての K
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの渡辺です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 先日私達のチームでは、EKS環境にArgo CDを導入し、デプロイパイプラインのリアーキテクトを行いました。 開発環境では、Argo CD Image Updater（以下、Image Updaterとする）を活用したスピーディなデプロイ設計をしました。詳しくは「EKS環境へArgo CD Image Updaterを導入し、デプロイ時間と管理コストを削減した話」を参照ください。 techblog.zozo.com 本記事では、Argo CD導入による本番環境のリリースフロー設計やタグ更新の仕組みなど工夫した点について紹介します。Argo CDを検討している方に向けて、少しでも参考になれば幸いです。 目次 はじめに
クラウドネイティブアプリケーションの運用基盤としてデファクトとなったKubernetes。稼働させるワークロードも多様化し、金融業などをはじめ、収益を担う一般顧客向けアプリケーションをKubernetes上で動かすケースも増えている。これに伴い、注目を集めているのがミッションクリティカルなビジネスを支える「データを保持することが求められるステートフルアプリケーション」のKubernetes上での運用だ。これを効率的かつ安全に動かすポイントとは何か？ Kubernetesに詳しいゼットラボ、NRI、ネットアップに所属する三者に話を聞いた。 Kubernetesでのステートフルアプリケーション運用のポイントとは？ デジタルトランスフォーメーション（DX）の取り組みが加速する中、クラウドネイティブな技術や開発、運用アプローチが大きな関心を集めている。中でも、Web企業のみならず、金融、製造などを
『家族アルバム みてね』（以下、みてね）では、サービス開始当初よりAWS OpsWorksをオーケストレーションツールとして利用してきました。 しかし、サービスや組織の拡大に伴い、AWS OpsWorksによる運用上の課題が生じてきました。そこで、2018年ごろにAWS OpsWorksからAmazon EKSに移行するという意思決定を行いました。 その後、たくさんの試行錯誤や紆余曲折、回り道を経て、2021年にAmazon EKSへの移行が完了しました。 この記事では、4年近くに渡ったEKS移行の取り組みを時系列を追って紹介していきます。 その過程には、後に取りやめることになった設計や意思決定も多く含まれています。 記事の最後でEKS移行プロジェクトを振り返り、そこから得た学びをまとめます。 図 『家族アルバム みてね』のEKS移行のタイムライン AWS OpsWorksの課題とEKS
Lightsail Containers: An Easy Way to Run your Containers in the Cloud | Amazon Web Services
AWS News Blog Lightsail Containers: An Easy Way to Run your Containers in the Cloud When I am delivering an introduction to the AWS Cloud for developers, I usually spend a bit of time to mention and to demonstrate Amazon Lightsail. It is by far the easiest way to get started on AWS. It allows you to get your application running on your own virtual server in a matter of minutes. Today, we are addin
タスク数100超え！モノレポとエスプレスタックで支えるECS管理の仕組み（ecspresso/ecschedule） - ウェルスナビ開発者ブログ
ECSの運用で発生した悩み リポジトリ分割と採用ツール 採用したツール モノレポ管理 jsonnetの利用イメージ パイプラインの実装 差分検出 反映の高速化 crontabのJST表記対応 ecspresso verifyによるチェック OPAによるポリシーチェック さいごに こんにちは、インフラエンジニアの和田です。 弊社は、WEBアプリケーションおよびバッチ処理の実行基盤として Amazon Elastic Container Service（以下「ECS」と呼ぶ） を採用しています。現在では複数チームの開発者が 100 を超えるタスク定義を運用する規模にまで拡大しています。この記事では、増え続けるECS定義をモノレポとエスプレスタック（ecspresso/ecschedule）で管理した事例を紹介します。 ECSの運用で発生した悩み ECSを利用する開発者やアプリケーション数が増え
みてね×gihyo.jpスペシャル 『家族アルバム みてね』に学ぶ、AWSのReserved InstancesとSavings Plansの勘所 『家族アルバム みてね』（以下、みてね）ではサービスの拡大に合わせてAWSのコスト削減のために、2018年から5年間にわたってReserved Instances（以下、RI）とSavings Plans（以下、SPs）の活用をしています。 現在に至るまでの間、サービスやインフラの成長に合わせそれらの使い方を試行錯誤してきましたが、振り返ってみるとどのタイミングでも注意すべきポイントは共通していることがわかりました。 そこで今回の記事では、みてねでのRI/SPsの活用の歴史を振り返りながら、それぞれを購入する際に注意すべきポイントについて共有いたします。 RIとSPsとは 振り返りの前にまずは、RIとSPsの概要について紹介します。 RIと
なお上記の「大量配信」とは、「1～3月分の四季版を4月15日から配信開始し、1週間で全家族に配信完了する」などのように、「新しい期間の1秒動画をはじめて配信してから、その時点で条件を満たす全家族への配信が完了するまで」の期間を指します。1秒動画の生成・配信の大部分はこの大量配信期間に行っていることから、これを「大量配信」と呼んでいます。 生成・配信の流れ 1秒動画の生成・配信は、図1のとおり(1)対象家族抽出、(2)素材選択、(3)動画エンコード、(4)配信、の4段階で実現しています。以下ではその詳細を説明します。 図1 1秒動画の生成・配信の流れ (1)対象家族抽出 1秒動画の生成・配信処理は、基本的にはバッチ処理として毎日実行しています。そのはじめに行うのは、「その日、どの家族に、どのバージョン・どの期間の1秒動画を生成・配信するか」を取り出す対象家族抽出です。この処理は四季版
qiita.com こんにちは、はじめまして。虎の穴ラボのはっとりです。 虎の穴ラボ Advent Calendar 2020 - Qiita - Qiita 7日目の記事になります。 6日目はT.MさんのSaaSに関する記事です。 toranoana-lab.hatenablog.com 8日目は、礒部さんの画像判別ボットに関する記事です。 toranoana-lab.hatenablog.com 新規サービスに携わることになり、その際AWS Fargateを使った環境構築を担当したので構築方法を共有します。 この記事で話さないこと アプリケーション側の作り こちらはまた別の機会に紹介したいと思います。 構成管理ツールなどによる環境構築 特定のツールによる環境構築ではなくGUIでもできる手順にしています。 全体構成 今回紹介する範囲での全体構成は下記の通りです。 アプリケーションはfro
This all started with a blog post back in 2020, from a tech curiosity: what's the fastest way to scale containers on AWS? Is ECS faster than EKS? What about Fargate? Is there a difference between ECS on Fargate and EKS on Fargate? I had to know this to build better architectures for my clients. In 2021, containers got even better, and I was lucky enough to get a preview and present just how fast t
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ANDPADのデータ基盤の変遷 - ANDPAD Tech Blog
EKSのマルチテナント化を踏まえたZOZOGLASSのシステム設計 - ZOZO TECH BLOG
突撃！隣のDevOps 【リブセンス編】 | DevelopersIO
死活監視、ロギング、メトリクス――Kubernetesと監視の話
オンラインサービスをECS on Spot Instanceで構築＆運用した - Gunosy Tech Blog
新人研修でHardening! 2023 - freee Developers Hub
Amazon EKS での Kubernetes アップグレードの計画 | Amazon Web Services
Gunosy のデータ活用を支える統合データ基盤 Baikal の話 - Gunosy Tech Blog
10倍スパイクの速報時に耐えうるAPIのスケーリングの仕組み - Gunosy Tech Blog
EKS を使ってる人から見た App Runner
ゼロから始めるEKS事始め（前編） - Gunosy Tech Blog
プロダクト基盤を EKS に移行しました | Wantedly Engineer Blog
Argo CD導入設計とリリースフロー改善の取り組み - ZOZO TECH BLOG
Kubernetesでステートフルアプリをどう動かすか
4年間のEKS移行の取り組みを振り返って | gihyo.jp
『家族アルバム みてね』に学ぶ、AWSのReserved InstancesとSavings Plansの勘所 | gihyo.jp
1秒動画のつくり方 ― 「家族アルバム みてね」における動画エンコードパイプラインとその最適化事例 | gihyo.jp
本番で使えるFargate環境構築 - 虎の穴開発室ブログ
Scaling containers on AWS in 2022