本当に必要なアラートだけを選別したい | IIJ Engineers Blog
大量のアラートを、どうさばくか サーバやネットワークが正常に作動しているかどうか監視しつづけ、障害発生にすばやく対応するのは、運用担当者の大事な仕事です。IIJではネットワークだけでなく、アウトソーシングとしてお客様のシステムを多数運用していますが、それらの中にはオープンソースの統合監視ソフトウェア「Zabbix」を使っている案件もあります（もちろん、他の監視システムを使っている案件もあります）。Zabbixで対応しているアラート件数は、年間1000万件にのぼります。 これだけの数があると、ワーニングや単なるノーマルメッセージなど「対応不要」なアラートは最初から見たくありません。瞬間的にアラートが大量発生するときの「重複」も我慢できません。真に対応すべきものの選別すら、できれば人間の手を動かしたくはありません。 そこでIIJは、自分たちが使うための運用自動化ツールを開発しました。この自動化
Zabbixでバッチジョブの所要時間と実行結果を監視する - Qiita
先日、cronで回しているとあるバッチジョブがたまに妙に時間がかかっているようだったので、その所要時間をZabbixで監視してみました。 time(1) コマンドの所要時間を計測するにはtime(1)コマンドが便利です。bash組み込みのtimeも便利ですが、time(1)はさらにいろんなオプションが使えます。 -oオプションは計測結果を指定ファイルに出力します。 -fオプションは結果の出力フォーマットを指定します。%eはいわゆるreal時間(単位は秒)、%xはCOMMANDのexit statusです。他にもいろいろな計測ができます。 デフォルトではCOMMANDのexit statusが非ゼロの場合にエラーメッセージを出力します。それを抑制するには--quietを指定します。 time(1)コマンドを使ってファイルに所要時間を出力しておけば、あとは適当な方法でそれをZabbixへアップ
Zabbix 3.2でsidekiqのキューなどを監視する - Amazon Linux編 - Qiita
前回のZabbix 3.2でsidekiqを監視する - Amazon Linux編では、sidekiqのプロセス監視などをしましたが、sidekiqにどのくらいのキューがたまっているかなどは監視できていませんでした。 キューの数を監視することにより、キューの数が溜まっていたらsidekiqの処理能力が限界を迎えている可能性があるので、ワーカーの数を増やす必要があるので、重要な監視項目です。 Stats sidekiqには監視APIがついており設定にもよりますが、/admin/sidekiq/statsのURLにアクセスすると以下のようなJSONが取得できます。 { "sidekiq": { "processed": 166, "failed": 79, "busy": 0, "processes": 1, "enqueued": 0, "scheduled": 0, "retries":
【Zabbix】監視の正常性を監視する仕組み - Qiita
■監視ツールを監視する必要性 監視はミッションクリティカルではないものの、監視でサービス停止を検知ができなかった場合、サービスへの影響が出たことに気付いた時点から対応が始まることになるため、迅速な対処ができない。 監視ツール側or監視対象側の問題どちらにせよ、バグを含め、突然監視ができなくことは、しばしばあることである。 単純な話だと、ログがローテーション時にパーミッションが変わってしまって、監視ユーザからログファイルを読み取れなくなってしまったり、監視ツールで、Windowsのパフォーマンスカウンタ値を収集している場合は、パフォーマンスオブジェクトの値が数字の羅列になってしまい、値が取れなくなるなど、恐ろしい現象まで存在する。 [参考URL:]https://support.microsoft.com/ja-jp/kb/152513 監視が正常にできている仕組みを考える必要がある。 ■Z
ウチの監視システムの変遷について書く | Ore no homepage
今、リアルタイムでは休暇中でフランクフルト経由ベルリン行きの飛行機の中にいる。暇すぎる。うちの会社、ってかトレタの監視系の変遷について書く。でも絵を描く気力はないので文字のみ。 今の状況です ルフトハンザは日本線は軽食の時間に ONIGIRI が出てくるので結構好きな航空会社です。休暇中なのにラップトップ持ってくのはプロ社畜の証。まあ今会社で裏側見てるのが俺しかいないので、エエ…。しかし世の中ホント便利に便利になってる。空の上でもインターネットができる。言い方を変えると空の上でもアラートが届くっていう…。飛行機の中は暇すぎるけどさすがに仕事はしたくないね。というかこの旅行中は仕事を忘れたい。 2014/10以前 俺が入社する前。 コア機能：Engineyard(OS: gentoo)。 プロセス異常監視、閾値監視など：monit エラートラッキング、レスポンスタイム、SQL：NewReli
Zabbixでプロセス監視を自動で設定追加する - Qiita
ZabbixでSNMPのLLD(ローレベルディスカバリ)を利用して正規表現で定義したプロセスが、監視対象で動作していたら自動でプロセス監視の設定を追加する。 これでプロセス監視を１つのテンプレートに集約できる。 前提条件 監視対象にZabbix Agentがインストール済みであること SNMP設定 1. 監視対象にsnmpdインストール # yum install -y net-snmp # sed -i -e 's/^#view all/view all/' -e 's/systemview none none/all none none/' /etc/snmp/snmpd.conf # chkconfig snmpd on # service snmpd start 上記でSNMPで全ての項目を取得できるよう設定を変更している 別途Zabbix Serverから監視対象への 161po
障害発生時にも漏れなし！ Zabbixの監視アラートでRedmine上にチケットを起票する仕組みをつくろう
* About to connect() to redmine-server port 80 (#0) * Trying redmine-server... * Adding handle: conn: 0x21b3278 * Adding handle: send: 0 * Adding handle: recv: 0 * Curl_addHandleToPipeline: length: 1 * - Conn 0 (0x21b3278) send_pipe: 1, recv_pipe: 0 * Connected to redmine-server (xxx.xxx.xxx.xxx) port 80 (#0) > POST /issues.json HTTP/1.1 > User-Agent: curl/7.30.0 > Host: redmine-server > Accept: *
[blackbird-xfs] blackbird で xfs をモニタリングする - Qiita
ちょっと変わりネタを ミドルウェアだけじゃなくてこういう使い方もできるよっていう例です blackbird xfs plugin この plugin では /proc/fs/xfs/stat から様々な情報を取得し、backend にデータを送信します read/write bytes read statistics transaction&log statistics write statistics こんなグラフが取れるようになります /proc/fs/xfs/stat の中身はというとこんな感じです extent_alloc 237924 2165708 236223 2146331 abt 0 0 0 0 blk_map 7853715 2395617 465507 235483 252144 10725562 0 bmbt 0 0 0 0 dir 681659 330194 32
![[blackbird-xfs] blackbird で xfs をモニタリングする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/6ce0f1543ec7cdf6fbf638e9865e1642ef856c42/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCYmxhY2tiaXJkLXhmcyU1RCUyMGJsYWNrYmlyZCUyMCVFMyU4MSVBNyUyMHhmcyUyMCVFMyU4MiU5MiVFMyU4MyVBMiVFMyU4MyU4QiVFMyU4MiVCRiVFMyU4MyVBQSVFMyU4MyVCMyVFMyU4MiVCMCVFMyU4MSU5OSVFMyU4MiU4QiZ0eHQtY29sb3I9JTIzM0EzQzNDJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnR4dC1jbGlwPWVsbGlwc2lzJnR4dC1hbGlnbj1sZWZ0JTJDbWlkZGxlJnM9MjExMjY5MjdmMGQxNzYwOTk0ZTRhZjdlYTRiODI4ZDY%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbWFrb2NjaGkmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWFlMTdiNjFkODU5YTlmYmU4YzFlYWQ1OGEwMDU3MWY3%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3Dbc09112ddcbb14291843d156d3d03a94)
[blackbird-nginx] blackbird で Nginx をモニタリングする - Qiita
blackbird nginx plugin この plugin では nginx から様々な情報を取得し、backend にデータを送信します 現在のところ、下記の情報をモニタリングすることができます。 nginx の version (nginx -v) stub_status の各項目 特定 url に対する responce check (HTTP status code / Reponse Time) Install blackbird 本体 こちらを参考に install してください Install nginx plugin setup.py で入れる方法と rpm で入れる方法があります 手動で入れる方法もありますが、その場合は別途 python の requests の module を使えるようにしてください setup.py で install git clone h
![[blackbird-nginx] blackbird で Nginx をモニタリングする - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/867eca03ea9898944afde7bf62d2b288c7ef514c/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Fadvent-calendar-ogp-background-f625e957b80c4bd8dd47b724be996090.jpg%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCYmxhY2tiaXJkLW5naW54JTVEJTIwYmxhY2tiaXJkJTIwJUUzJTgxJUE3JTIwTmdpbnglMjAlRTMlODIlOTIlRTMlODMlQTIlRTMlODMlOEIlRTMlODIlQkYlRTMlODMlQUElRTMlODMlQjMlRTMlODIlQjAlRTMlODElOTklRTMlODIlOEImdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ21pZGRsZSZzPTA5ZmYyODI2ZWFmNTM2Y2JkN2JhNWJkZWY5ZWQzNWI0%26mark-x%3D142%26mark-y%3D151%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwbWFrb2NjaGkmdHh0LWNvbG9yPSUyMzNBM0MzQyZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWFlMTdiNjFkODU5YTlmYmU4YzFlYWQ1OGEwMDU3MWY3%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D994d6830bc118dd2fa726c304b8dcf4b)
Simple Monitoring for Docker (Part I)
Migrating from VMs to Docker containers is quite easy except for the monitoring part. A straightforward approach, running a data collecting agent (such as Zabbix agent), is definitely a not a good solution as it goes against Docker’s philosophy of having one clearly identified task in each container and also because it will require to use custom images. Starting with Gathering LXC and Docker Conta
Simple Monitoring for Docker (Part II)
After the first part we now have a couple of scripts able to extract some metrics from Docker containers. The next part will be to configure Zabbix to make use of those scripts to gather data and make awesome graphs. ## Zabbix Infrastructure Zabbix Server Since I’m using Zabbix in the containerized environment, I’ll be running the Zabbix server in a Docker container (or several one actually). Ther
Zabbix アプリケーション監視のためのアイテムの違い - Qiita
はじめに Zabbixにはアプリケーション監視を行うためのアイテムがいくつか用意されていますが、その違いについて纏めてみました。 ①プロセス監視 ・proc.num[<name>,<user>,<state>,<cmdline>] <name>に設定した場合は、「ps -e」の結果から存在を検索する事と同等。 <cmd>設定した場合は、「ps -ef」の結果から存在を検索する事と同等。 ・service_state[*] ・services[,,] Windowsのサービスステータスをチェック。 ②ポート監視 ・net.tcp.listen[port] ・net.udp.listen[port] 「netstat -an」の結果からLISTEN状態であるかどうか評価する事と同等。 ・net.tcp.port[<ip>,port] 指定されたポートへTCPレベルでの接続を行う。 「telne
Monitor Disk IO Stats with Zabbix
I wanted to get a feel how much IO my machines are doing each day. As I was going through the zabbix graphs I noticed that IO statistics are not included. I did some research and I came across these forums: Monitor a device performance on Linux with Zabbix Getting hard disk performance stats from zabbix Both use the same technique of querying the /proc/diskstats file and plotting that information.
zabbixでiptablesが有効になっているかどうかを検出する - 酒日記 はてな支店
iptables、便利ですが必要のないホストで有効になっていると困りますね。特に conntrack が適切に設定されていない状態で有効になると、流量が多くなった時にテーブルが溢れてパケットが捨てられてしまいます。 厄介なことに、状態を確認しようと思って迂闊に iptables -L を実行しただけで kernel module が読み込まれてしまうので、うっかり知らないうちに有効になっているという事故例もありました。 ということで、zabbix で iptables が有効かどうかを検出して、望ましくない状態になっていたらアラートを上げたいと思います。 外部コマンドを実行するようなことは（設定が面倒なので）したくない。zabbix-agentのデフォルトで持っている項目で検知する方法を考えて、以下のようにしてみました。 "iptables is loaded" というアイテムを、vfs.
zabbix_get使ってzabtop作ってみた - mikedaの日記
Zabbixには動作確認用にzabbix_getってコマンドがついてて、これを使うとCLIで監視してる値が取れちゃいます。 $ zabbix_get -stest-web01 -k"system.cpu.load[,avg5]" 1.460000けっこうサクサク動くので試しに複数サーバの状態をリアルタイム表示するコマンドを作ってみました $ ./zabtop test-web0{1,2} test-db0{1,2} HOSTNAME Load(1/5/15) Memory Swap us sy id wa test-web01 1.09/1.12/1.22 10.0% 0.0% 19 2 79 0 test-web02 1.78/1.18/1.08 10.3% 0.0% 19 2 73 0 test-db01 0.11/0.18/0.17 92.0% 0.0% 2 0 95 0 test-
JMX Zabbix Bridge
Welcome to Zapcat’s home. These pages introduce and document Zapcat for Java developers and for system administrators who wish to monitor Java applications from Zabbix. Zapcat endeavours to be a simple to use bridge between the JMX management API inside Java applications and the Zabbix monitoring tool. JMX defines a method for Java developers to integrate their applications with existing network m
CentOS 5 に ZABBIX をインストールした - daily dayflower
ZABBIX の特徴 （Cacti ほどではないが）Nagios より見映えが洗練されている Nagios と異なり Web UI から管理項目を追加したりできる Cacti よりリモートエージェントが軽い，と思われる 警告通知にメールだけでなく Jabber プロトコルが使える*1 ざっくりまとめると，Nagios と Cacti を足して 2 で割った感覚です。テキスト設定ファイル指向な方には Nagios のほうが向いているかも*2。rrdtool の思想と見た目が好きな人は Cacti が向いているかも。 ZABBIX のコンポーネント おおまかにいって以下の3つにわかれています。 zabbix-agent - 監視エージェント written in C 監視対象にインストールする つまり nagios-nrpe の ZABBIX 版です 別にインストールしなくても ICMP pi
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
1 Web監視アイテム
http://dl.dropbox.com/u/224433/monitoring_casual_3/index.html