［速報］AWS、Docker Hubの代替を狙う「Amazon Elastic Container Registry Public」提供開始。AWS re:Invent 2020
Amazon Web Services（AWS）は、Dockerコンテナのイメージをパブリックに公開できるコンテナレジストリの新サービス「Amazon Elastic Container Registry Public」（ECR Public）の提供開始を発表しました。 現在、Dockerコンテナイメージのパブリックなレジストリとして事実上の標準となっているのは、Docker社が運営するDocker Hubでしょう。 しかしDocker Hubは、今年の11月からアノニマスユーザーからのプルは6時間で100回まで、認証済みユーザーからのプルは6時間に200回までなど、一部で制限を強化しつつあります。 参考：Docker Hub、6カ月使われていないコンテナイメージの削除計画を保留に。従量課金ベースの料金プランを検討へ AWSはこのDocker Hubの代替となるサービスの発表を予告していま
ECSからEKSへの移行への移行事例の紹介
発表資料の中に出てくるURLです。 * [Amazon EKSでのArgoCDを使ったGitOps CD](https://tech.recruit-mp.co.jp/infrastructure/gitops-cd-by-using-argo-cd-at-eks/) * [EnvoyとAmazon ECS Service Discoveryを利用したgRPCの負荷分散](https://tech.recruit-mp.co.jp/infrastructure/post-17098/) * [Amazon EKSでAWS App Meshを利用してgRPCサーバーを運用する](https://tech.recruit-mp.co.jp/infrastructure/post-20765/) * [https://tech.recruit-mp.co.jp/infrastructure/po
ECSやEKSのメトリクスを一括取得するContainer Insightsが一般公開！既存ECSクラスタも追加設定可能に！ | DevelopersIO
「これで… これでAWSのコンテナワークロードは、全て、すべて丸見えなんやで… ﾊﾞﾀｯ」 しばらくまえにパブリックプレビューとして提供されていたContainer Insightsですが、ついにGA（一般公開）の運びとなりました!! Container monitoring for Amazon ECS, EKS, and Kubernetes is now available in Amazon CloudWatch 従来のCloudWatchでは取得できなかったタスクやコンテナ単位のメトリクスが、Container Insightsによって取得できます。 さらにGAによって、既存のECSクラスタも追加設定が可能になっており、既に構築済みのクラスタに対して「1分」でContainer Insightsがお手軽に利用できます！！まずは、手元の環境でONにしてもらい、そのメトリクスの便利さ
［速報］AWSをオンプレミスに持ち込める「AWS Outposts」正式リリース。日本国内でも利用可能。AWS re:Invent 2019
Amazon Web Services（AWS）のAndy Jassy CEOは、米ラスベガスで開催中の年次イベント「AWS re:Invent 2019」の基調講演において、「AWS Outposts」の正式リリースを発表しました。 AWS Outpostsは、AWSのクラウドインフラと同等のシステムをオンプレミスに持ち込み、パブリッククラウドと連係したハイブリッドクラウドを実現できるというもの。同社がクラウドの構築で培ってきた技術を基に、ハードウェアとソフトウェアの設計と開発が行われました。 24インチのラックにシステム一式が搭載され、顧客に提供されます。 オンプレミス版AWSの「AWS Outposts」、24インチ幅の専用ラックはキャスター付き、故障には部品交換で対応 AWS OutpostsはAWSのコンソールから管理でき、AWSと同じAPIが利用でき、AWSのリージョンとシーム
はじめに KubernetesではWebアプリケーションから業務用のワークフロー（バッチ処理とか）に至るまで様々なアプリケーションを動かすことができるが、現実世界において苦労するポイントの1つは、ワークロードに秘匿情報を渡すための方法である。 例えば、アプリケーションの上でデータベースに接続するために必要なエンドポイントの情報やパスワードなどの認証情報は、アプリケーションのソースコードに直接書くことはご法度だし、コンテナ化する際に内包することも原則タブーである。また環境変数として注入する場合でも、その情報が物理ディスクに残ってしまう場合などを考え最新の注意を払う必要がある。 ここではKubernetes上のワークロードに秘匿情報をできるだけ安全にわたすための方法を運用者・開発者の目線で考える。 Kubernetesが持つ外部情報注入の仕組み Kubernetesの場合、アプリケーションに情
はじめに TL; DR; 社内の普段はインフラ以外のところを主戦場にしている人向けに、AWS・GCPの権限に関する用語と概念を説明するために書いたものを加筆訂正して公開します AWS・GCPの権限管理は、基本的な概念は似ているが同じ英単語が別の意味でつかわれているのでややこしい 書いてあること 概念の説明と、関係を表す図 EKS・GKEからクラウドリソース *1 を使う時の考え方 書いてないこと 設定のためのコンソール画面のスクショや手順 Kubernetesからクラウドリソースを操作する方法は、以前のブログ「GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD」でTerraformによるコードの例も紹介しているので、あわせて参考にしてみてください 想定読者 AWSはそこそこ使って慣れているけど、GCPにおける権限管理を理解したい人(またはその
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、PingCAP株式会社の関口匡稔 氏。同社が開発する、オープンソースの分散型データベース「TiDB Serverless」について発表しました。全2回。後半は、TiDBを使ったアプリケーションのサンプル「OSS Insight」とChatGPTの機能「Chat2Query」について。前半はこちらから。 TiDBを使ったアプリケーションのサンプル「OSS Insight」 ここまで、TiDB Serverlessをどうやって作っていったかというコンセプトをご紹介してきました。ここから、TiDB Serverlessを実際に使ってみたという話をしたいと
EKSでDockerから卒業すべくBottlerocketのマネージド型ノードグループを使ってみた - inductor's blog
はじめに この記事ではAWSの公式ブログ「Amazon EKS adds native support for Bottlerocket in Managed Node Groups」で取り上げられている内容を、eksctlを使わずCloudFormationでimmutableに実現するための方法を解説します。 aws.amazon.com Bottlerocketとは Bottlerocketは、AWSが開発しているコンテナ実行専用OSです。Fedora/RHELのCoreOSやVMwareのPhoton OS、Rancher OSなどと似ていて、コンテナを実行するためのランタイム以外余計なパッケージが入らない軽量なOSとなっています。 aws.amazon.com Bottlerocketの開発状況についてはBottlerocket Roadmap · GitHubを合わせてみると良
Terraformのレビューを自動化するために、Conftestを導入してGithub ActionsでCIまで設定してみる - nariのエンジニアリング備忘録
はじめに 対象読者 OPA/Rego/Conftestとは Regoでポリシールールを記述して、ルール自体のテストも記述しながらCIへ組み込んでいくまで Conftest(OPA/Rego)のセットアップ 前提知識: Terraform plan 結果の構造 ConftestでTerrafom resource tag ルールを書いてみる ConftestでRegoで書いたルール自体のテストを書いて、実行してみる Conftestを実行するCIをGithub Actionで整備する Conftest/Regoで書いたポリシールール自体のfmt/verifyのCIの設定 Conftest testでTerraform plan結果をテストするCIの設定 終わりに 参考文献 English Version: dev.to はじめに メリークリスマス。eureka, inc. でSREをやってい
コンテナストレージに Amazon EFS を使用するためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ コンテナストレージに Amazon EFS を使用するためのベストプラクティス 数万社におよぶ企業がペタバイト規模のデータを Amazon Elastic File System (Amazon EFS) に保存しており、その多くが EFS を使ってコンテナ化したアプリケーションのデータです。Amazon EFS ファイルシステムは、Amazon Elastic Container Service (ECS) と Elastic Kubernetes Service (EKS) の両方で起動したコンテナに接続できます。Amazon EFS はコンテナインフラストラクチャと同様に、データの追加や削除の際に設定が簡単でかつ柔軟なスケーリングが可能な完全マネージド型のサービスであるため、コンテナストレージにうってつけの選択肢です。さらに、ペタバイト
概要 AWSには、マネージドなコンテナプラットフォームとして、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 どちらもコンテナオーケストレーションを提供するサービスで、EKSはデファクトスタンダードであるKubernetesが、ECSはAWS独自仕様がそれぞれ使用されており、使用方法や学習コスト、運用やメンテナンスコストについて異なる点も多くあります。 本記事では、EKSとECSの特徴を比較し、それぞれの選択基準について解説します。 AWSのコンテナプラットフォーム AWSの主なコンテナプラットフォームには、EKS(Elastic Kubernetes Service)とECS(Elastic Container Service)があります。 以下に、EKSとECSの概要比較、およびコンテナイメージを
AWS Summit Tokyo 2019 I3-04「ロマサガRSの大規模トラフィックを捌くAmazon ECS & Docker運用の知見」レポート - ForgeVision Engineer Blog
こんにちは、クラウドインテグレーション事業部 山口です。AWS Summitも３日目となり寂しい感じですが、予定していたスピーカーセッションなども終わり、やっとセッションを聞けたのでレポートを書きます。 ロマサガ大好きで初代は３拠点制覇実績もあり、更に大好物のコンテナがテーマとなれば参加しない理由はありません、セッション会場へダッシュです。AWS Summitの事例セッションは動画公開されないことも多いので、テクニカルセッションよりも事例を優先的に聞く立ち回りも理由の１つですね。 ＜注意＞このセッションは録画＆配信されるようですので、詳細はAWS公式より公開される動画を参照ください。メモの共有ということでブログにします。撮影禁止なのでテキスト中心の内容となります。 第１章 ロマサガRS アーキテクチャ Elixirをベースに開発 強力な並列処理が魅力 ECSベースで稼働、インフラはClou
急成長中のスタートアップ企業は、多様なAWSサービスをどう選択・活用し、ビジネス課題を解決しているのでしょうか。本連載では、スタートアップ企業の中でエンジニアリングをリードしている担当者がそのアーキテクチャをひも解き、AWS活用術を紹介していきます。第3回はfreeeのSREエンジニア藤原峻輝氏が担当、テーマは「コンテナ（Kubernetes）」です。記事の最後には、SAによるポイント解説もあります。（編集部） はじめに はじめまして、freee株式会社でSRE（Site Reliability Engineering）をしている藤原峻輝と申します（各種id：@renjikari）。SREはその名が示す通りサイトの信頼性向上を目指すロールであり、freee全体のサービスの信頼性をあげるために、障害対応の運用から新しいインフラ基盤を開発することまで担当しています。 freeeについて fre
AWSのマネージドサービスを活かした Kubernetes 運用とAmazon EKS によるクラスタのシングルテナント戦略について
AWSのマネージドサービスを活かした Kubernetes 運用とAmazon EKS によるクラスタのシングルテナント戦略について
グノシー におけるEKS活用事例
Building Better People: How to give real-time feedback that sticks.
はじめに こんにちは、計測プラットフォーム開発本部SREブロックの近藤です。普段はZOZOMATやZOZOGLASSなどの計測技術に関わるシステムの開発、運用に携わっています。 今年の夏に、ZOZOFITというサービスがローンチされました。このサービスは米国での展開を行い、日本ではあまり目にすることのないサービス名称だと思います。 ZOZOFITをローンチするにあたり、私達のチームではアーキテクチャを設計し、システム構築をすることになりました。 本記事では、ZOZOFITの開発時に遭遇した課題と対応方法について紹介します。 目次 はじめに 目次 ZOZOFITについて システム構成 レイテンシを考慮したAWSのリージョンの選定 認証機構の構築 開発中の課題 米国でSMSの送信時に必要な申請 SMSの送信検証 振り返り 終わりに ZOZOFITについて ZOZOFITは、ZOZOSUITの計
Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 | Wantedly Engineer Blog
Kubernetes 8 Factors - Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件 こんにちは、Wantedly で技術基盤に関わる Developer Experience Squad で Engineer をしている大坪（@potsbo）です。 今日は、WANTEDLY TECH BOOK 7 から「Kubernetes クラスタの移行から学んだクラスタのポータビリティの重要性と条件」という章を抜粋し加筆修正を加えたものを Blog にします。 「WANTEDLY TECH BOOK 1-7を一挙大公開」でも書いた通り、Wantedly では WANTEDLY TECH BOOK のうち最新版を除いた電子版を無料で配布する事にしました。Wantedly Engineer Blogでも過去記事の内容を順次公開予定であり、この Blog もそ
こんにちは。青山（amsy810）です。 Kubernetesには複数のクラスタを扱うための技術がいくつかあります。 今回は幾つかのパターンに分けて紹介していきたいと思います。 また、将来的にこうなったら面白いかもという話をするために、すぐにプロダクション利用できない話やWebサービスでは使わないような話も含まれています。 【目次】 複数クラスタを利用する理由 複数クラスタを管理するパターン GitOpsで複数クラスタを管理するパターン 複数のKubernetesクラスタをFederateするパターン Virtual kubeletパターン マルチクラスタ時のロードバランサの扱い LoadBalancer の機能を利用して分散する DNS を利用して分散する Multi Cluster にまたがる Service Mesh を利用して転送する マルチクラスタでPod Networkを繋ぐ
要約 k8sは、manifestをサービスが動くように設定するのは簡単だが、適切な設定は分かりづらい その結果、いまいちな設定をしてしまいがち kube-scoreはmanifestの問題と対応方法を教えてくれる k8s初心者にこそ、ツールによるmanifestの自動検証はおすすめ 想定読者 Kubernetes(以下、k8s)でとりあえずサービスを動かせるが、雰囲気で触っている人向けです。 k8sの設定は雰囲気で決められがち こんにちは。ANDPADでバックエンドの開発をしているzigeninです。 ANDPADでは、バックエンドのサービスをk8sで動かしています。 k8sを使っていて感じる一番の問題は、manifestで設定できることが多すぎて、良い設定が分かりづらいことです。 そのせいか、k8sに習熟していないと以下のような設定をしがちです*1。 apiVersion: apps/v
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較する - Qiita
AWSの新価格モデル Savings Plans とは？オンデマンドやリザーブドインスタンスと比較するAWSEC2lambdaFargateCostExplorer 2019/11/7に、AWSからSavings Plansという新しいAWS利用料節約のための価格モデルが登場しました。 このSavings Plansについて調べてみました。 更新履歴 2019/11/07: 初版。EC2とFargate (for ECS) が割引対象に。 2020/02/21: 更新。新たにLambdaが割引対象に追加。 2020/04/06: 更新。Organizationsのメンバーアカウントから推奨事項が確認可能に。 2020/05/10: 更新。価格改定により、EC2 Instance Savings Plansの一部のEC2インスタンスタイプで、従前に比べて最大18%の値下げ。 2020/08/
「CA BASE NEXT」は、20代のエンジニア・クリエイターが中心となって創り上げるサイバーエージェントの技術カンファレンス。青山氏は、PlatformのためのPlatformとしてのKubernetesを、実際の事例を踏まえて紹介しました。前半は、Kubernetesの拡張性の高さについて話しました。 devチームでは「Kubernetes as a Service」と「ML Platform」を開発中 青山真也氏：本日は「"Platform for Platform" with Kubernetes」というテーマで発表いたします。よろしくお願いします。 軽く自己紹介します。私は青山と申します。2016年に株式会社サイバーエージェントに新卒入社して、現在はメディア側とAI事業本部側の、プライベートクラウドのインフラ部隊を合併して作った「CyberAgent group Infrast
GitHub Actionsで実現する、APIキー不要でGitOps-likeなインフラCI/CD - JX通信社エンジニアブログ
※ 今はGitHub ActionsでOIDCが使えるので、本記事の内容は少し古いです。*1 現場のルール等で「インフラを触るワークロードはオンプレでしか動かしてはならない」みたいなルールがある場合には多少参考になるかと思います。 SREのたっち(@TatchNicolas)です。 JX通信社では「インフラチーム」のようなものは存在せず、開発したチームが運用までやるFull-cycleなスタイルを取っています。AWS・GCPリソースの管理も特定のメンバーが担当するのではなく、必要とする人が必要な時に作成・修正等を行います。すると、terraformなどIaCのツールを利用する場合に「今リポジトリにあるコードは実態を正しく反映しているのか」「誰かが矛盾する変更を加えていないか」という問題が発生します。 CIツール上でterraformを実行することで、問題の一部は回避できるかもしれませんが、
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 はじめに こんにちは。SREの二橋です。最近の楽しみは、キャンプと釣りの動画を見ながら、お家で妄想を膨らませることです。 この度、TypetalkのEC2のインスタンスをインテルプロセッサを搭載したM5系からARMベースのAWS Graviton2を搭載したM6g系に完全移行しました。そこで、Graviton2の概要から移行しようと思った理由、作業内容、移行の効果などをお伝えしたいと思います。 AWS Graviton2とは？ Graviton2はAWSがArm Neoverse コアをベースに独自開発したプロセッサです。2020年夏にAmazon EC2で一般用途向け(M6gとM6gd)、コンピューティング最適化(C6gとC6gd)、メモリ最適化(R6
LIFULLを支えるKubernetesエコシステムまとめ 2020年版 - LIFULL Creators Blog
技術開発部の相原です。 以前にブログで書きましたが、LIFULLでは主要サービスのほぼ全てがKubernetesで稼働しています。 www.lifull.blog Kubernetesをアプリケーション実行基盤として本番運用するためにはデプロイやモニタリング・ログ、セキュリティなど考えることが多くどこから手を付ければよいか困ることがあるでしょう。 そこで今回は既に数年の運用実績のあるLIFULLのアプリケーション実行基盤で利用しているKubernetesエコシステムについて紹介します。 全て書くと数が膨大になるので今回はクラスタ周りを中心に、必要とするソフトウェアの数が多いモニタリング・ログまでとします。(それでも大作になりそうですが...) kubernetes/kops projectcalico/calico coredns/coredns node-local-dns kubern
ハンズオンの「腹落ち問題」を改善する 5 Tips - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
builders.flash 読者の皆さん ! こんにちは ! シニアテクニカルトレーナーの吉田慶章です。 2020 年 9 月までは「技術用語を比喩から学ぼう !」という記事を連載していました。 皆さんは「ハンズオン」を実施したときに「問題なく動いた・・・! だけど・・・! なぜ動いているのかはわからない・・・!」と感じた経験はありませんか ? 私はこういう状態のことを「腹落ち問題」と個人的に呼んでいます。今回の記事ではこの「腹落ち問題」を改善する 5 Tips を紹介します。 Here We Go ===┌(･_･)┘ AWS を学ぶ方法はいろいろありますが、実際に AWS を操作しながら学べる「ハンズオン (ワークショップやチュートリアルと呼ばれることもあります)」が好きな方も多いのではないでしょうか？そして AWS では多くのハンズオンを公開しています。よく知られているものだと「A
【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 | Amazon Web Services
AWS Startup ブログ 【週刊 Ask An Expert #17】AWS で Docker を使うときの選択肢は？先週の #AWSLoft で受けた質問10選 こんにちは、スタートアップ ソリューションアーキテクトの塚田 (Twitter: @akitsukada) です。好きな Chalice の機能は Built-in Authorizer です。 まず最初に、今回の週刊 Ask An Expert では Docker コンテナに関する質問が多く、皆さんの関心が伺える週となりました。そんなみなさんにイチオシのイベント情報は AWS Containers talk with Mercari です！↓ メルカリさんにおける AWS のコンテナサービス活用事例が気になる方は、ぜひ ↑ から申し込んでください！ さて、ではここから週刊 Ask An Expert 第 17 回目をお届
メルカリ写真検索における Amazon EKS の活用事例と
プロダクトにおけるEdgeAI technologyの展望
AWSLoftで行われた AWS Containers talk with Mercari で使用した資料です https://awscontainertalkwithmercari.splashthat.com/
こんにちは。 ご機嫌いかがでしょうか。 "No human labor is no human error" が大好きな吉井 亮です。 AWS Well-Architected Framework 読んでますか？(挨拶) このベストプラクティス集はアーキテクチャの評価、設計時の参照先、費用対効果と信頼性が高いシステム構築にとても役立つドキュメントです。 基本となる6本の柱に加えて、特定領域にフォーカスしたレンズが用意されています。 そして、アメリカ時間の2022年10月21日に新しいレンズ Container Build Lens が追加されました。 ドキュメントを読み込んでうえで自分なりの解釈を加えて要約します。 AWS Well-Architected 6つの柱を知りたい サマリーの前に基本的な6つの柱を知りたいという方は以下のリンクを参照ください。 AWS Well-Architec
Self-Hosted Cluster から EKS への移行と Platform の Production Readiness - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper では AWS 上で Kubernetes Cluster を運用してサービスを提供しています。 これまで kube-aws を用いて Kubernetes Cluster を Self Host してきましたが、このたび Managed Services である Amazon EKS に移行しました。（以下、 Amazon EKS を EKS と表記します） 本記事では、 Kubernetes Cluster の移行で遭遇した問題をどのように解決したかを説明します。また、数多くの Application が稼働している Platform を移行する際にどのような点を考慮するとよいのか、経験を通して学んだことを共有します。 EKS への移行を検討している方はもちろん、Platform Migration に携わる方にとって学びに
はじめに SREの須恵です。 弊社では、昨秋からサービスメッシュの導入を開始していたのですが、なかなかアウトプットできていなかったので書くことにしました。 マイクロサービス化とgRPC 弊社で進行中の技術テーマの1つに「マイクロサービス化」があります。 ビジネスの成長拡大に伴い開発組織も拡大し続けており、どんどん人数が増えています。この増加していく開発者の力を、可能な限り効果的に活かして開発するため、マイクロサービス化に舵を切ることになりました。 （マイクロサービスの動機と目指す結果の詳細はいずれ誰かが記事化することに期待） 今年の1月に弊社初のマイクロサービスとしてリリースされた2つのサービスがあり、それらはgRPCで通信することが決定されていました。また今後も、マイクロサービス間の同期通信にはgRPCの採用が広がる見込みです。 なぜgRPCか モノリスをマイクロサービス化する、あるいは
文化庁長官、現代日本音楽について「誰とは言いませんけど、へたくそな歌を歌ってコンピューターで音を合わせて発売している｣ : 痛いニュース(ﾉ∀`)
文化庁長官、現代日本音楽について「誰とは言いませんけど、へたくそな歌を歌ってコンピューターで音を合わせて発売している｣ 1 名前：ネトウヨ ★：2021/04/19(月) 16:44:19.82 ID:IGSUYO2K9 今年度から文化庁長官に就任した作曲家の都倉俊一氏（７２）が１６日、文化庁で報道陣の取材に応じ、日本のポップカルチャーを世界的にすることを目標に掲げた。新型コロナ禍で窮地に立っている文化芸術の救済を仕事始めにすることも明らかにした。 ピンクレディー「ＵＦＯ」で受賞した日本レコード大賞の盾が置かれた長官室。都倉氏は「日本のポップカルチャー、ライブエンターテインメントはまだまだ世界から遅れている。これを国も一体となってひとつの大きな文化産業として育てていくというのもこれから必要だと考えています」と熱く意気込んだ。 「今は映画も音楽も韓国に先に行かれているところがある」とし、「東
AI ラボの nagomiso です。最近趣味という趣味が「飲酒」と「VTuber*1 の配信を見ること」だけになっていて危機感を覚えています。 唐突ですが freee 会計の「自動で経理*2」には登録された明細の内容から勘定科目などを推測する機能が備わっていることをご存知でしょうか？ 例えば以下の画像のように「freee 独自の基準により推測」と表示されたら何らかの推測処理が裏側で走っています。 「自動で経理」で推測された勘定科目の例 皆さんご想像の通りこの推測の一部には機械学習を用いた推論エンジンが使用されています。推論エンジン自体は数年前から導入されているので話題としての新鮮味は薄いですが freee の機械学習に関する話題は割と門外不出状態だったので今回はこの推論エンジンについてざっくりとご紹介しようと思います。 推論エンジンの Ops 周り 「自動で経理」で使われている推論エンジ
KubeFest Tokyo 2020 は Kubernetes を利用している人、これから導入したい人が学ぶオンラインイベントです。サイバーエージェントのSREである石田氏が、Kubernetesと既存のシステムとの並行運用方法、直面した問題とその解決方法を共有しました。関連資料はこちら。 稼働しているサービスの紹介 石田：実際に作成した構築物の紹介をします。Kubernetesクラスタは以下のルールに則って構築しました。クラスタはdevelop環境、staging環境、production環境で分割し、既存のセキュリティグループベースのアクセス制限でも対応できるようにしました。 ワーカーノードへのSSHは通常利用の範囲では不必要なので原則不要とし、ワーカーノードのkubeletやDocker Engine、その他ミドルウェア起因の障害も障害と考えられる場合のみ、セッションマネージャー経
Today, the community was shocked by the sudden news that Docker Desktop for Mac/Win is no longer free [-as-in-beer] for “professional use in larger businesses”. But we have a free, libre, and open source alternative of Docker for Mac: containerd & Lima. $ brew install lima $ limactl start $ lima nerdctl run -it --rm alpine(NOTE: ARM Mac requires installing a patched version of QEMU, see Lima docum
こんにちは、ご無沙汰しています。 2020 年も終わろうとしていますが、この度サービスメッシュと AWS App Mesh に入門しました。 サービスメッシュ超入門 AWS App Mesh は、AWS 上のサービスでサービスメッシュを実現するための AWS サービスです。 サービスメッシュやその背景については、Tori さんによる「サービスメッシュは本当に必要なのか、何を解決するのか」の講演が詳しいです（この講演にも最後の 5 分くらいで App Mesh が登場します）。 サービスメッシュは、サービス間の通信のリトライ処理、レートリミット、サーキットブレイカーなどの仕組みを、クライアントやサーバー側で制御するのではなく、プロキシサーバーで解決します。 Envoy Proxyは、サービスメッシュのプロキシサーバーとして、広く利用されています。 Envoy Proxy へのリトライやレート
履歴 期間限定で公開されている前夜祭(Day0)の動画リンクを追加しました AWS上に構築したマイクロサービスに対する効率的な性能・負荷テストの実行方法 のスライドを追加しました どんな低スペックPCが割り振られても泣かないで！開発環境をCloudへ移行した話 のスライドを追加しました Amazon Neptuneとサーバーレスから始まった高速バス予約システム開発 のスライドを追加しました CloudbaseでのAWS CDKとStepFunctionsを用いたバッチ処理基盤の爆速構築 のスライドを追加しました Day 0 開発者を魅了するオープンソースソフトウェアSupabaseとは Youtube動画リンク [レポート]OSSエンジニアのBetter than Nothingという生き方 〜 全力で5％を目指せ！ #AWSDevDay | DevelopersIO Youtube動画リ
Amazon Elastic Kubernetes Service (Amazon EKS) の開発チームに移ります - As a Futurist...
ソフトウェア開発をやるぞと決めてカナダに移住して Amazon S3 のチームに入り約 3 年経ったけど、今日から社内で別のチームに移ることになった。エンジニア人生を始めて 10 年ちょっと、初めて自分から参加したいと思って選択したポジションなので、楽しみだ。 10 年間、仕事の選択肢がなかった 僕は大学院を辞めてからカナダの永住権を取るまでの約 10 年間、とにかく日本を出て働ける様になるためだけに生きてきた。なんのスキルもなく大学院でも何もなさずに辞めてしまうような人なので、新卒採用(結局既卒になるんだけど)は 1 社しか合格できず選択肢はなかった。しばらくは手に職をつけようとインフラのスキルを一から磨いたけど、このまま同じことを続けても海外には行けないと思って、海外支社に出向できるチャンスをもらった。そこでインフラよりも開発がやりたいと思った矢先に日本に戻る様に言われ、日本で開発をや
概要 この記事は 一休.com Advent Calendar 2023 16日目の記事です。 RESZAIKO開発チームの松村です。 一休では各サービス毎に、開発中のサービスの動作を社内で確認できる環境があります。 それぞれmain(master)ブランチと自動的に同期している環境と、特定のブランチを指定して利用できる環境の2種類があります。 今回、RESZAIKOの新規サービス(予約画面)に対してブランチを指定してデプロイできる環境を作成したので、その方針と反省点と今後について記述していきます。 現在運用中の予約画面 開発環境を作る理由 一休では長らく、EKS上に複数の環境を用意して、ブランチを指定すると開発環境にデプロイするシステムが利用されてきました。 一般的にこのような環境を構築するのは以下のような理由が挙げられます。 動作確認 マイクロサービスで、異なるブランチ同士の組み合わせ
AWS Config が高いと感じたら。AWS Config のコストを15分の1に下げた話 - ABEJA Tech Blog
切っ掛けと問題の認識 AWS Config のカウント数の監視 対象外にしたいリソースが見つかったら AWS Config 側で除外する 実際のコスト削減効果 なぜもともとコストが高かったのか まとめ こんにちは、ABEJAの村主です。ABEJAアドベントカレンダー2023の18日目の記事です。今回は、意外にも高額になりがちなAWS Configのコスト削減について、どのように対応したかをご紹介します。特に、AWS Configのコストを大幅に減らすためのアプローチについてお話しします。また、CloudWatch で AWS Config のカウント量を可視化する方法はあまり見かけなかったのでブログにしておきました。 切っ掛けと問題の認識 最初に気づいたのは、AWS Cost Explorer を確認していたときです。そこで見たAWS Configのコストは、1日あたり約$15、月間では約
【Kube-hunter】Dockerワンライナーで30項目のkubernetes環境脆弱性テストができるOSSを試してみた | DevelopersIO
【Kube-hunter】Dockerワンライナーで30項目のkubernetes環境脆弱性テストができるOSSを試してみた 常に頻繁なアップデートが要求されるkubernetes環境の運用において必要となる、定期的な脆弱性試験ツールとしてのkube-hunterの紹介です。 kubernetes環境、マスターノードまで含めると、構成要素は膨大かつkubernetes自体の進化も非常に早く（3ヶ月に1回）、運用コストは決して低いとは言えません。 今日はそんなkubernetes環境に対して、お手軽簡単に脆弱性試験を実施できるKube-hunterというOSSがあったので、それを使ってみた様子をお届けします。 脆弱性試験という性質上実施には厳重な注意が必要ですが、OSSかつDockerワンライナーでの実行が可能なので、実際の実行には5分もかかりません。一度あなたのk8s環境、これを機にチェッ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kubernetesにおける秘匿情報の扱い方を考える - inductor's blog
AWS・GCPとKubernetesの権限まわりの用語を具体例から理解する - JX通信社エンジニアブログ
複雑なデータベースの知識は一切不要、気にするのはエンドポイントだけ 開発の生産性を高める「TiDB Serverless」の各種機能
AWS EKSとECSの比較と選択基準
急成長のfreeeに学ぶ、進化するアーキテクチャ――Kubernetes×AWSで複雑化したマイクロサービス基盤を改善
ZOZOFITのアーキテクチャ設計とシステム構築時の裏話 - ZOZO TECH BLOG
Kubernetesにおけるマルチクラスタ関連手法の分類 - @amsy810's Blog
Kubernetesのmanifestを検証しよう - ANDPAD Tech Blog
Kubernetesは「コンテナを実行する基盤」ではない 拡張性を活かしてクラウドネイティブな特性を得るサイバーエージェント開発部隊
TypetalkのEC2インスタンスをインテルプロセッサからARMベースのAWS Graviton2に完全移行。性能向上と費用削減を実現 | 株式会社ヌーラボ(Nulab inc.)
AWS Well-Architected コンテナビルドレンズを要約してみた | DevelopersIO
サービスメッシュとしてLinkerdを導入するに至った経緯 - ANDPAD Tech Blog
「自動で経理」の推論エンジンってどんなやつ？ - freee Developers Hub
どのようなユーザー体験を提供できるか考える サイバーエージェントのSREが行った Kubernetesの問題検証とその解決
containerd & Lima: Open source alternative to Docker for Mac
サービスメッシュとAWS App Meshに入門した | Folioscope
AWS Dev Day 2022 Japan スライドまとめ - Qiita
Cloud Runで開発用環境を沢山作る - 一休.com Developers Blog