僕が障害復旧対応時に考えていることを言語化してみる - Qiita

これまで数多くのシステム障害を復旧してきました。 障害は無いに越したことは無いですし、起こらないように最善を尽くすのが我々エンジニアの使命です。 しかし、どれだけ最善を尽くしても起こる時には起こります。 今回は、これまで数多くの障害を復旧させてきたエンジニアが、復旧作業時に何を考えているのかを改めて言語化してみたいと思います。 こういう情報ってそれぞれのエンジニアの頭の中にあってあまり共有されないので、意外に参考になるかなと思います。 障害復旧対応の醍醐味 表現が適切かは分かりませんが、僕はシステム障害を復旧させるのが大好きです。目の前に起こっている事象からヒントを集め、地道に原因を切り分けてクリティカルヒットを見つけたときは名探偵になった爽快感があります。 加えて、動いているものを常に動かし続ける日頃の保守運用とは異なり、動いてないマイナスの状況を0まで戻すということで、復旧成功した際に

[camellow]

「自分のせいで起きた障害じゃない。即時復旧できなくても身銭を切るのは自分じゃない。落ち着いて、丁寧に、いつも通り慌てずにやるほうが結局は早いんだ…」と自分に言い聞かせるとかの話じゃなかった

[Cald]

構成にもよるけど、500エラーなら通信経路より先にログ見ない？サーバには届いてるんだから。いつエラー起きてるかとか、一回限りかとかのヒントも必要

[hase0510]

通信経路を調べてるの、障害対応のノウハウというよりは知らないシステムの構成を調べるノウハウという感じだ。普通に知ってるシステムならid:Caldさんの言う通り初手でWebサーバーを見に行っていい場面かと。

[hrsktst]

500で通信経路調べるのはパブリッククラウド前提だからだと思うよ。バックエンドサーバーとの通信障害を疑う。自分だったら通信経路調べつつ同時にログも確認するけど。（プライオリティは同等）

[syu-m-5151]

Netflix の『Linux Performance Analysis in 60,000 Milliseconds』やyuuk.io の『Linuxサーバにログインしたらいつもやっているオペレーション』もとても良いのでおすすめしたいです。いつもおすすめしている気がする。

[pacstrap]

知らんサーバーに入ったらとりあえずfreeとdfで安全確認してる

[ngsw]

ブラウザの気持ちになって経路から丁寧にみてく筆者のやり方は好きである。DNSの設定エラーを契機にしたような問題に気づけたりもするかもしれないし、見慣れぬ環境ならそうだよなって思う

[Guro]

（マントを翻してやってくる名探偵のようだ）（名探偵はそれ以上なにもしてくれないのだな）

[moromoro]

似たような感じ。これはこれとしてログ集約してわかりやすく出すようにしておきたい/送られて着てなかったら気付けるようにしておきたい

[iekusup]

言語化っすよね。

[pwatermark]

構成も分からんシステムを「掘っていく」手順としてはこんな感じでいいだろうけど、誰もメンテしてないとは言え流石に構成情報くらいはどっかに残っててくれよなー....w

[fujiyama3]

遠くへ行きたい…

[mas-higa]

"ドメインは適当です" なんで example.com 使わないんだろう?

[odakaho]

example.com使えよ・・

[versatile]

apm をみて・・・とかじゃなかった

[morimarii]

Qiitaはもうこういうポエムしか読めなくなりつつあるな。。。

[circled]

長年やってるとシステム全体の動きが脳内にシミュレートされて、障害時に脳死であの辺だろ？みたいな勘が冴えるようになる。多分エラーや不具合時の動きとサーバ内の原因箇所がリンクして脳内仮想化されてるかも？

[oshishosan]

ユーザー「また障害？ちゃんとやれよ」ワイはシステム職を辞めた

[hiroomi]

”地道に原因を切り分けてクリティカルヒットを見つけたときは名探偵になった爽快感があります。”暫定、恒久とか分けるのかと思ったが、暫定でもないのね。あと、監視入れると、優先順位が身につくよ。

[kagehiens]

こういうの見ると、再発防止のIssueチケットを切っても、その対応を完了させられない工数配分に追い込まれている現場とか、終わってるというしかないのかなと思わされて切なくなる

[Andrion]

私がまず考えるのは「報告が必要かどうか」。なぜなら大抵の障害は再起動したら直るけど原因が分からなくなるから

[yabu_kyu]

とりあえずサーバ入ったらmessages見る（権限あったら）