Kubernetes HPA External Metrics を利用した Scheduled-Scaling - スタディサプリ Product Team Blog
こんにちは。SRE の @chaspy です。 Quipper では Kubernetes Horizontal Pod Autoscaler (以下、HPA) を利用して Pod のオートスケーリングを実現しています。 HPA は非常に便利で、ほとんどのトラフィック増減に対応できます。しかし、オートスケーリングの宿命ではありますが、突発的なアクセス、いわゆるスパイクアクセスにはどうしても対応できません。CPU 利用率が急激に上がり、HPA がすぐに Desired Replicas を増やしたとしても、Node*1 のスケールアウトに5分程度はかかってしまいます。 CPU 使用率に基づくオートスケーリングに対して、決まった時間に決まった個数を事前にスケールしておくことを Scheduled-Scaling と呼ぶことにしましょう。前者のオートスケーリングと併用して Scheduled-S
AWS 監視のための主要なメトリクス
DiskReadBytes と DiskWriteBytes このメトリクスの組み合わせは、EC2 インスタンスに接続されているインスタンスストア（「エフェメラル」）のボリュームに対して読み書きされるバイト数を計測します。これらのメトリクスには、C5 および M5 インスタンスタイプに接続されているすべての EBS ボリュームの I / O データも含まれます。他のインスタンスタイプの場合は、EBS から直接ディスク I / O メトリクスにアクセスする必要があります。このメトリクスを監視すると、アプリケーションレベルの問題を特定できるようになります。たとえば、大量のデータが常にディスクから読み取られていることがわかった場合、キャッシュレイヤーを追加してアプリケーションのパフォーマンスを向上できます。 StatusCheck Failed CloudWatch は、1 分間に 2 回ステー
監視について思うとこ - y-ohgi's blog
TL;DR 監視はユーザーにサービスを提供できているかを観測するための行為 SLI/SLOを定めて、SLOを守れるようにモニタリングする ダッシュボードは定常的に表示しておくものと障害時に活用するものを作ると良い アラートはレベル分けして人間が対応しなければならないものだけ人間へ通知する 監視とは サービスを健全に動作させ続けるために監視を行います。 「健全に動作している」の定義はサービスによって異なり、ユーザーにWebページを見せることができることだったり、バッチが正常に終了することだったりします。 最終的にユーザーに正常にサービスを提供できていることを観測するために行うことに変わりはありません。 さてユーザーにサービスを提供するために何を監視しましょうか？ クラウド前提であれば個人的にリソースベース（CPU/Memory）より、 SLI/SLOをベース に監視する事が望ましいと考えてい
Monitoring Modern Infractructure（eBook provided by Datadog）を読んでみた #datadog | DevelopersIO
Chapter3: Alerting on What Matters 監視データを精査し収集出来ていると仮定して、それらから何をAlertすべきかに話は進んでいきます。 アラートが狼少年と化している担当者の方には是非一緒に見ていただきたい章となっています。 Automated alerts are essential to monitoring. They allow you to spot problems anywhere in your infrastructure, so that you can rapidly identify their causes and minimize service degradation and disruption. But alerts aren’t always as effective as they could be. In partic
Datadog Dashboard at Scale w/ Terraform | Mercari Engineering
こんにちは。株式会社メルペイSREチームの@kekeです。 Merpay Advent Calendar の9日目の記事です。 本記事ではスケーラブルなDatadogモニタリングシステムをTerraformによって実現した方法を紹介します。 はじめに すでに多くの発表があるのでご存知の方も多いのではないかと思いますが、メルペイではマイクロサービスアーキテクチャを採用しています。 マイクロサービスアーキテクチャの略図 各マイクロサービスのデベロッパーは責任を持ってそれぞれのサービスを開発・運用しています。 SRE(Site Reliability Engineering)チームはシステムの信頼性を失うことなく高い開発速度を実現できるような仕組みづくりに取り組み、それをデベロッパーに提供しています。メルペイという金融事業の、高い信頼性の実現のためにサービスを横断的にモニタリングをしています。可
なぜPrometheusを辞めてDatadogを採用したのか - ABEJA Tech Blog
こんにちは。ABEJAのインフラ管理してる村主 @rwle1221 です。 本ブログは Datadog Advent Calendar 2019 の8日目です。 今日は ABEJA Platform というプロダクトで、なぜ Prometheus から Datadog に変えたのか。というお話したいと思います。 一人の方でも採用基準の参考になればと思います。 第一フェーズ：実は元々Datadogを使っていた 実は Prometheus の前は Datadog を使っていました。 なぜ Datadog を使っていたかというと、Za○bix や Na○ios などは古い思想なので使う気になれなかったという単純な理由です。 ただ、 Datadog は $18/host という値段で 当初は数十台だったので数万円ほど発生していました。やはり少し高いなという印象です。 第二フェーズ：Promethe
【レポート】Datadog Meetup 〜Datadogはじめました！in 大阪〜 #datadogJP | DevelopersIO
こんにちは。大阪オフィスのかずえです。 今回は 2/28に開催されました Datadogはじめました！ in 大阪をレポートいたします。 Datadogは昨年2018年5月に日本オフィスを開設され、それを契機にユーザー会を始められたとのことです。 先日東京でもMeetupが開催され、そちらについては弊社佐々木がレポートしております。今回はMeetup第2弾、大阪開催です。 会場はなんばスカイオのWeWork。キレイでおしゃれで開放感のある会場でした！ なお、筆者はDatadogは名前とロゴ可愛いくらいしか知らない初心者です。 レポート はじめてのDatadog Datadog 池山さん [slideshare id=133813214&doc=20190228meetup2presentationkikeyama-190301054142] なぜ今モニタリングが必要なのか、なぜDatado
運用監視サービスのDatadogが、フロントエンド自動テスト「Madumbo」を買収。サーバからフロントエンドまでをモニタリングするフルスタックな監視サービスに
運用監視サービスのDatadogが、フロントエンド自動テスト「Madumbo」を買収。サーバからフロントエンドまでをモニタリングするフルスタックな監視サービスに システムの運用監視をクラウドサービスとして提供しているDatadogは、フロントエンドの自動テストツールを提供している「Madumbo」の買収を発表しました。 Datadogは一般的な運用監視ツールと同様にサーバの稼働状況をモニタリングし異常を発見することに加え、ダッシュボード上でモニタリング状況を見ながら関係者とチャット画面でコミュニケーションできる機能を提供しているのが特徴の1つ。 ApacheやNginx、MySQLやPostgreSQLなど多くのミドルウェア、仮想マシンやクラウドのインスタンス、Dockerコンテナなどの状況も監視可能。 さらにPython、Go、Rubyなどで記述されたアプリケーションやフレームワークを検
Kubernetes上のアプリケーションログを自動収集する - Qiita
TL;DR; 新サービスや既存サービスをKubernetesに移行するたびに、ログの収集設定のためインフラエンジニア待ちになってしまうのは面倒ですよね。 そこで、アプリのログをFluentdとDatadog LogsやStackdriver Loggingで自動的に収集する方法を紹介します。 主に以下のOSSを利用します。 fluentd kube-fluentd fluent-plugin-datadog-log fluent-plugin-google-cloud 今回はDatadog Logsを使いますが、Stackdriver Loggingを使う場合でもUIやAPIクレデンシャル等の設定以外は同じです。 お急ぎの方へ: アプリ側の設定手順 標準出力・標準エラーログを出力するだけでOKです。 参考: The Twelve-Factor App （日本語訳） 詳しくは、この記事の「サ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Collecting RDS metrics from PostgreSQL databases