EKS環境下でコストが増大する事例とfreeeのアプローチ - freee Developers Hub
はじめまして。freee の SRE チームに所属している nkgw （Twitter） です。 普段はエンジニアリングマネージャーをしつつ、開発チームの新規プロダクトリリースサポートをやっています。 我々のチームは大部分のプロダクトのコンピューティングリソース (CPU / Memory など) を Amazon Elastic Kubernetes Service (EKS) で実行できるようにインフラ基盤移行 (EC2 → EKS) を進めてきました。 移行プロジェクトの大部分は 2021 年 7 月に無事終わったのですが、移行スケジュールを最優先としたため割り当てている各リソースはかなり保守的 & 過剰でした。 (移行後の性能劣化が怖かったため、EC2 時代と比較し、1.5 倍のバッファを積むなど... etc) コスト増大したグラフ その結果、 去年と比較して、コストが倍以上に跳
Kubernetes の CronJob の急な停止に対応するための Tips - freee Developers Hub
SRE の hatajoe です。 私が所属しているチームでは、これまで数多くのサービスのインフラ基盤を Amazon EKS へ移行してきました。 その過程で多くの乗り越えなければいけない課題に直面して来ましたが、今回は Kubernetes クラスタで安全に CronJob を扱うための Tips を紹介したいと思います。 CronJob CronJob とは、定義したスケジュールに応じて Kubernetes クラスタで実行されるジョブリソースです。 Kubernetes のジョブリソースには Job と CronJob の２種類がありますが、今回は CronJob の話になります。 CronJob は定義したスケジュールに応じて Pod を生成します。そして、ジョブの実際の処理は Pod 内のコンテナで実行されます。 課題背景 ところで、Kubernetes クラスタで稼働中の P
ActiveJobでKubernetesのJobを作れるgemを作った - 気まぐれ開発日記
https://github.com/yuemori/kube_queuegithub.com 概要 ActiveJobでKubernetesのJobを作るgemを作ったよ ActiveJob作る場合はrailsのソースコードを読むのがおすすめ KubernetesのAPIを叩くのは意外と簡単で楽しい きっかけ ruby-jp slackの #container チャンネルで、kubernetesでのsidekiqが話題になりました。 そういえば、個人的にsidekiqのdockerでのデプロイをいい感じにできないものかと悩んでいます。 デプロイする前にsidekiqのquietして、workerプロセスが全部死んでから、 デプロイする必要があって、長いジョブがいるとなかなかデプロイされずに困るんですよね。 コンテナじゃなければ、quietした後、同じサーバーの中でまたsidekiqを立ち
Segment Routingを用いたKubernetes Podネットワーキングの実装 | CyberAgent Developers Blog
こんにちは、技術本部 プライベートクラウドグループの中西（@whywaita）です。 今回はCA Tech JOBの制度を用いてインターンに参加して頂いた上野さんからの寄稿記事です。 以下本文です。 みなさんはじめまして。 メディア事業部技術本部プライベートクラウドグループで、2ヶ月間のインターン（CA Tech JOB）を行いました上野裕一郎 (https://www.y1r.org) です。普段は東京工業大学で深層学習をスパコンなどの高性能計算技術で加速・大規模化させる研究をしています。 本インターンではSegment Routing、とくにSRv6を用いてKubernetesのPodネットワーキング機能(CNI)を実装しました。本稿では、CNIとSegment Routingについて紹介したのち、その実装と動作を説明します。 Container Network Interface;
Getting Started with Istio Using Docker Desktop - Docker
This is a guest post from Docker Captain Elton Stoneman, a Docker alumni who is now a freelance consultant and trainer, helping organizations at all stages of their container journey. Elton is the author of the book Learn Docker in a Month of Lunches, and numerous Pluralsight video training courses – including Managing Apps on Kubernetes with Istio and Monitoring Containerized Application Health w
Horizontal Pod Autoscaling と Cluster Autoscaler を EKSに設定してみた | DevelopersIO
はじめに おはようございます､加藤です｡CKAを受けようと思っていましたが､勉強する時間もとれず､申し込みが英語でまるで理解できなかったのでチキって辞めました｡ というわけで､EKSでHorizontal Pod Autoscaling と Cluster Autoscaler を設定してみました｡ 説明 Horizontal Pod Autoscaler - Kubernetes Horizontal Pod Autoscaling(以降､HPA)はCPU負荷などメトリクスに応じてDeploymentに命令を送りReplica数を制御する機能です｡ コンテナに与えるリソースは変えずに､同時実行を増減させます｡つまり､スケールイン/アウトを行います｡ Horizontal Pod Autoscaler で利用可能なメトリクスは下記があります｡ 1 Resource CPU/メモリのリソース
Amazon EKS Workshop :: Amazon EKS Workshop
EKS WorkshopPractical exercises to learn about Amazon Elastic Kubernetes Service
Kubernetesはクラスタで障害があったとき、どういう動きをするのか - あさのひとりごと
Kubernetesは、コンテナアプリケーションをデプロイするためのオーケストレーションツールです。Kuberenetesは分散環境におけるスケーラブルなコンテナ実行環境をつくるための、さまざまな機能が提供されています。 もともとはGoogleが開発したBorgをもとにOSS化したものですが、今日ではマイクロソフトやRedHatも積極的に開発に加わり、非常に早いスピートで機能拡張していて、追いかけるのも大変です。 Kubernetesの大きな特徴は宣言的設定にあります。 この宣言的設定とは、イミュータブルなインフラを作るための基本的な考え方で、「システムのあるべき姿」を設定ファイルにて宣言する！という考え方です。Kubernetesは設定ファイルに書いたとおりのインフラを維持するように設計されています。 Kubernetesはコンテナを「Pod」という単位で管理します。このPodをKube
kubernetesをローカルの開発に活用する - Please Drive Faster
できる限りプロダクションのクラスタ設定をそのままローカルの開発にも使いたいなー、と思って色々と試行錯誤して、ようやく形になってきたので書いておく。 なぜローカルでkubernetesを動かしたいのか 最近ではInfrastructure as Code、Immutable Infrastructureの考え方と共に、コンテナの上でアプリケーションの環境の構築、運用、開発をすることが増えてきた。 少し前までは、Dockerでローカルの開発環境の構築は楽になったけど、本番にデプロイするのにはハードルがある印象が個人的にはあった。だけど、kubernetesの登場によってそのハードルは大きく下がった。 最近はマイクロサービスアーキテクチャへの注目と共に、様々なコンテナが協調してサービスを形作る構成が増えてきたように思う。kubernetesはこの全てのコンテナを管理する。 kubernetesは
Spring Boot on Kubernetes : Yahoo!ズバトク事例 #jjug_ccc
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
kube-aws: Highly Available, Scalable, and Secure Kubernetes on AWS | AWS Open Source Blog
AWS Open Source Blog kube-aws: Highly Available, Scalable, and Secure Kubernetes on AWS There are many ways to manage a Kubernetes cluster on AWS. Kube-AWS is a Kubernetes incubator project that allows you to create, update, and destroy a highly scalable and available Kubernetes cluster on AWS. It provides seamless integration with several AWS features such as KMS, Auto Scaling groups, Spot fleet,
コンテナとサーバ仮想化の違いと、Docker, Kubernetes, OpenShift - Speaker Deck
Transcript Red Hat K.K. All rights reserved. 1 コンテナとサーバ仮想化の違いと、 Docker, Kubernetes, OpenShift レッドハット株式会社 ソリューションアーキテクト 森若和雄 <kmoriwak@redhat.com> 2018-04-10 Red Hat K.K. All rights reserved. 2 もくじ サーバ仮想化とコンテナの違い • サーバ仮想化とコンテナ • コンテナの使いどころは ? • コンテナの注意が必要な点 Docker, Kubernetes, OpenShift • Docker は何をするのか ? • Docker は何がよかったのか ? • オーケストレーターとは ? Kubernetes とは ? • OCI (Open Container Initiative) とは
minikubeでDockerコンテナをクラスタ構成した運用とDockerコンテナを手作業で地道に管理の運用とどっちが楽か検証しながらまとめてみた｜TechRacho by BPS株式会社
2018.02.22 minikubeでDockerコンテナをクラスタ構成した運用とDockerコンテナを手作業で地道に管理の運用とどっちが楽か検証しながらまとめてみた 皆さまこんばんは、ikaです。ここ最近の仕事面では開発する時間も増えてきて、中々インフラの話で話題になれそうなものがあんまり出てこないなーという矢先の記事です。 なんだかんだ言って、弊社のインフラはまだ問題が山積みなため生々しい声(主に自分の運用の辛さ<-)も含めて書いています。 今日はその中でも今流行りの(?) Kubernetes によるDockerコンテナをクラスタ化の試験運用を行なっているので、その体験談、プラス自社の既存の運用方針と照らし合わせて結局Kubernetesってどうなの?と言う記事を書いてみたいと思います。それではいってみましょう。 注: 追記参照 コンテナ型仮想化について Dockerコンテナと言っ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Stop Kubenetes From DOSing Your Application During Deployment
Cloud | Accenture
GitHub - mumoshu/kodedeploy: CodeDeploy for EKS. Parallel and Continuous (re)delivery to multiple EKS clusters. Blue-green deployment "of" EKS clusters.
GitHub - c-bata/kube-prompt: An interactive kubernetes client featuring auto-complete.