完璧な監視システムの作り方 in cybozu.com - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは、Hazama チームの萩原(@hagifoo)です。 ハードウェアは故障し、ソフトウェアにはバグがあり、運用ではミスがおきるもの。もちろん、障害が発生しないのが理想ですが人間が作ったものに完璧はありません。そこで、障害の前兆や発生を捉え、その詳細を運用チームに知らせるための監視システムが必要となります。cybozu.com でも以下のようにありとあらゆるものを監視するシステムを構築し日夜監視を行なっています。 今回は、そんな cybozu.com の監視(モニタリング)システムについてお話しします。 cybozu.com と障害 監視システムの設計 3つの監視 外形監視 症状監視・リソース監視 ログ監視 その他の監視 モニタリングフレームワーク 誰が監視者を監視するのか？ まとめ cybozu.com と障害 まずは、監視対象である cybzou.com について説明します。

[jun_ya]

面倒くさいと思うものほどやらなければならないという典型例が監視

[kazuhooku]

平易でいい概論

[yosukegatz]

運用者にとっては当たり前の話が書かれてますがとりあえずメモ。

[matsumoto_r]

監視システムは故障管理システム等と連携して日々改善できるような仕組みにしておくことが大事ですよね。

[nekoruri]

この手の話、実はニフクラ本2版でがっつり書いといた。 #ステマ

[kojisato2012]

> 完璧な監視システムを作るただ一つの手段は、障害を見落としたら検出できるようにしたり、誤警告が多ければ精度を上げるといった、絶え間ない改善に尽きます。

[harumaki_net]

仕組みを作り始めるとキリがない、というのが監視の悩みだなー

[hiroomi]

“インフラ専門の開発部隊（Hazama チーム）が置かれており、監視システムを改善し続ける体制となっています。”

[diary193]

素晴らしいまとめ＞ “完璧な監視システムを作るただ一つの手段は、障害を見落としたら検出できるようにしたり、誤警告が多ければ精度を上げるといった、絶え間ない改善に尽きます”

[tmatsuu]

外形監視の部分、各Webサーバのポート監視もすればいいと思いました。うちはそうしてる。

[fumisan]

これは頭の中を整理するのにいいまとめ。

[piment]

監視システムの監視も考慮されている 完璧な監視システムの作り方 in cybozu.com %textQuotePrefix% %quote% --- Shared from Pocket (http://getpocket.com)

[tak4hir0]

完璧な監視システムの作り方 in cybozu.com | Cybozu Inside Out | サイボウズエンジニアのブログ

[youhey]

監視例

[hokorobi]

監視システムをどこに置くかがなかなかな～。メンテナンスもちびしい。

[y_maeyama]

サービスの監視システムに関する基本的な考え方が簡潔にまとまっていて素敵。

[soma28]

完璧な監視システムの作り方 in cybozu.com | Cybozu Inside Out | サイボウズエンジニアのブログ

[abe_hn]

分かりやすくてまとまった概要

[ama-ch]

読みやすくて素晴らしい

[gin0606]

ネットストーキング的な話かと思った

[marmotte]

あとで読む

[yumu19]

構成や設定値が具体的に書かれていてすごく参考になる。(書いたの宇宙研の先輩〜)

[kimutansk]

「外形監視」「症状監視・リソース監視」「ログ監視」の３要素と。ログ監視の機械学習化は面白そうですねぇ

[yhonda1001]

監視

[j-novas]

完璧な監視システムの作り方 in cybozu.com | Cybozu Inside Out | サイボウズエンジニアのブログ

[no_dajin]

参考になる

[wasai]

サイボウズさんもZabbixか

[uzuki-first]

勉強になります

[kukita]

【監視】サイボウズさんが「cybozu.com」で実施している完璧な監視システムの作り方について。「サービスが稼働しているかどうか=障害とはなにかを規定する」「間違って障害を検知しないこと」等。 #運用 #監視 #障害 →

[miya-jan]

たくさんの目がある画像が怖いですね！

[graceful_life]

これは助かる

[gorimaru7]

マルチテナント環境で怖いのはこの手のリソース枯渇です。特にメモリ枯渇の場合は full GC が頻発して、全てのお客様に影響がでてしまいます。アクセス自体ができなくなれば LB から自動で切り離されるためお客様にはほ

[naruoga]

ぼくみたいな素人にはわかりやすくまとまっていてステキ♪

[terazzo]

目が怖い

[kana321]

ブログ

[YuichiTanaka]

勉強になりました。目のアイコンが怖い！