.ioドメイン不調に伴うMackerelの死活監視アラートの誤報の発生とそれに対する対応について - Mackerel お知らせ #mackerelio
Mackerelサブプロデューサーの id:Songmu です。表題の件、ユーザーの皆様には度々ご迷惑をおかけしており大変申し訳ありません。 本件の詳細に関する説明と、今後の対応に関してお知らせいたします。 死活監視のアラート誤報に関して Mackerelでは、mackerel-agentから一定時間メトリック投稿が途絶えた事をもって、サーバーがダウンしたと判断し、死活監視アラートを発報する仕組みになっています。 現在、 mackerel.io ドメインの名前解決が不安定になっております。それに伴い、 mackerel.io ドメインの名前解決が一定期間失敗し、Mackerelへのアクセスが一時的にできない環境において、 mackerel-agent がMackerelへのメトリック投稿をおこなうことができず、Mackerelシステム側でサーバーがダウンしたと判断してしまい、死活監視のアラ
オープンソースのシステム監視ツール「Zabbix 3.4」リリース。ウィジェット化されたダッシュボード、バルクメトリクス収集やアラートの並列処理なども追加
ZabbixはさまざまなOSやネットワーク機器などの監視に対応したテンプレートが用意されており、大規模なシステム監視にも対応。データセンターでのシステム監視などに使われています。 エージェントをインストールしてメトリクスを取得して監視する方法、あるいはSNMPやSSH、Telnet経由でエージェントを使わずにメトリクスを収集して監視する方法の両方に対応。Zabbixサーバに収集されたメトリクスは見やすい形でダッシュボードに表示され、あらかじめ設定された異常値などに達するとアラートが発せられます。 Zabbix 3.4のリリースノートによると、Zabbix 3.4ではダッシュボードが新たにデザインしなおされ、ウィジェットをドラッグ＆ドロップすることで自由にカスタマイズできるようになりました。また、新たなフィルタリングオプション、ダッシュボード用APIも実装。 障害発生の検知をトリガーとした通
AWS Lambdaを使ってサーバレスにWebサイトを監視してSlackに通知する - drilldripper’s blog
Webサイトの状況を監視するためのスクリプトを動かしたいというシチュエーションが発生することがあります。典型的な例としてECサイトの在庫監視などがあると思います。この文章を読んでいる人の中には、Nintendo Switchの在庫状況を監視して通知するスクリプトを動かしている人もいるもいるのではないでしょうか。*1 在庫確認のようなシチュエーションでは常時起動しているPC、すなわちサーバに相当するものを用意しなければなりません。VPSを借りる人も多いと思いますが、スクリプトを動かすだけに使用するには少々オーバースペックです。 そこで今回はAWS Lamdaを使って安価にサーバレスでサイトの在庫状況を監視するシステムを構築します。例としてNintendo Switchの在庫状況を通知するシステムを作ります。 おそらく無料枠内で収まると思いますが、無料枠を超えたとしてもAWS Lambda自体
監視・解析ツールから読み解く！トラブル対応＆負荷対策
2017/02/16 Developers Summit 2017
アラートエスカレーションシステム"Waker"の紹介 - クックパッド開発者ブログ
インフラストラクチャー部の荒井（@ryot_a_rai）です。今回は社内で利用しているアラート通知システムであるWakerの紹介をします。 Wakerはアラートを受け付けて、指定されたユーザに電話などの手段でアラートを通知するためのアプリケーションです。 PagerDuty アラートのエスカレーション・通知といえばPagerDutyが有名ですが、弊社では主にコスト面でPagerDutyを利用していません。日本国内への電話発信はGlobal Phone Alertsとしてカウントされ、通知数にもよりますが1ユーザ当たり$29〜49/月かかります。これを高いとするか、安いとするかはそれぞれかと思いますが、ユーザが増えてくると高くなるためユーザの追加がしづらく監視の委譲・分業がすすめづらいという点がありました。 また、弊社ではシンプルなエスカレーションと電話通知のみが必要されていた、という背景が
WEB系各社で使われている監視ツールまとめ - mikedaの日記
次世代 Web カンファレンスで監視について話すことになったので、ネタとしてWEB系各社で使っている監視ツールを調査中。 うちはこれ使ってるよ！！！ってのがあったら@mikedaにメンションください！ Cookpad Zabbix 昔はNagios+muninだけど台数増えて性能的に破綻した ビューはそのままじゃ辛いのでmunin風に表示するのを自作 StatusCake DataDog。サービス系、サーバに紐付かない系の監視に。DashBoard便利 waker。通知用。PagerDuty高い、と言ってryot_a_raiが秒で作ったらしい Kibana imon。独自のリアルタイムなサービス稼働状況表示ツール NewRelic 試し中なもの Real-User Monitoring : JSでbeacon飛ばしてfluentd -> BigQuery。Google SpreadShee
How to monitor NGINX
What is NGINX?NGINX (pronounced “engine X”) is a popular HTTP server and reverse proxy server. As an HTTP server, NGINX serves static content very efficiently and reliably, using relatively little memory. As a reverse proxy, it can be used as a single, controlled point of access for multiple back-end servers or for additional applications such as caching and load balancing. NGINX is available as a
muninのRRDファイルの設定情報をのぞいてみた
gistfile1.pl � Ƭ�U �wb��U # Dumper(RRDs::info "/var/lib/munin/test01/test01-cpu-user-d.rrd")の抜粋 # けっきょくのところ # 300秒ごとに監視。保存設定は以下4つ # 1. 2日間、そのまま保存 # 2. 9日間、6回（30分）ごとのサマリで保存 # 3. 45日間、24回（2時間）ごとのサマリで保存 # 4. 450日間、288回（24時間）ごとのサマリで保存 $VAR1 = { # 全体情報 # step（監視感覚）が300 'step' => 300, 'filename' => 'test01/test01-cpu-user-d.rrd', 'header_size' => 2880, 'last_update' => 1356346805, 'ds[42].index' => 0, '
RRDtoolを使う
RRDtoolを使う 久保田 拓朗 takuo@bonz.squares.net 1.1版 2005.02.26 目次 1. RRDtoolについて 2. RRDtoolのコマンドの使い方 3. パイプモード 4. Perlから利用する 5. チューニングについて 6. その他 7. 最後に 2. RRDtoolのコマンドの使い方 3. パイプモード 4. Perlから利用する 5. チューニングについて 6. その他 7. 最後に 1. RRDtoolについて RRDtoolとは • 各種時系列のデータを格納し描画します。 • データはRound Robin Databaseに格納します。 • 作者はMRTGの作者でもある Tobi Oetikerさんです。 • ライセンスはGPL(GNU General Public License)です。 本家 http://people.ee.e
負荷低すぎはもはや障害じゃないのか - mikedaの日記
前のブログの続きで、もにかじ7で話した小ネタその2。 実際にサービスでなんかやったというのじゃなく、こういうこと考えてるんだけどみんなどうしてます？って話です。 まずオンプレ時代はサーバのスペックダウンはけっこう大変だったし、頑張ってメモリやCPU引っこ抜いてもそんなに節約にならなかった。 ※CPUやメモリはサーバ価格の一部でしかないし、ラック費用(消費電力)もあるし。 でもクラウド前提だとスペックダウンはとても簡単で、スペック半分にすると価格も半分になる。 そうすると、 『イベントで一時的にc4.4xlarge(8万/月)にして、そのまま最大CPU使用率10%とかで数ヶ月放置されている』 みたいなのはビジネス的な損失という意味で明らかに障害で、監視すべきじゃないだろうか？ みんななんかやってますか？ というようなことを参加者に聞いてみました。 参加者の中では、AutoScalingしてい
エンジニア3人で支える月間10億PV
・2年で月間10億PVを支えるまで成長した ZenClerkの運用上の工夫を紹介 ・AWSのTipsとあるある話の共有
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
今さら聞けないAWSによる監視の世界