本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita

この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき

[m_sakunyan]

“すべてのサーバーが、吾輩は猫であると表明しています”

[rAdio]

すべてが猫になる……。 / hostnameは確認目的で気軽に利用しない方が良い。ホスト名を確認するだけなら他の手段がある。 / 権限過剰なヤバくて雑なツールはどこの現場にもあるが、そのことは口外しない方が良い。

[perl-o-pal]

hostnameが変わっただけ…と思うじゃん？でも私の場合MC/ServiceGuardが落ちてしまって再起動を余儀なくされてしまいました。rootで作業することはあるので、unameを使うのが正解。

[roy]

地味に「すべてがｓになる」って言ってんだけど、「ｆ」じゃないからみんなツッコんでくれない寂しさ

[taruhachi]

めっちゃ怖いしやりそうだが、root作業の問題にもみえる。

[Fluss_kawa]

cronね。昔やらかしてからなるべくその場で編集せずに外部ファイルで編集してからcrontab fileするようにしてる。（ちょっと書き換えたい時はcron -eしちゃうけど）

[yabu_kyu]

hostnameコマンドは確認には使わないようにしてる

[iasna]

ねこです よろしくおねがいします ねこはいます ねこはどこにでもいます

[rryu]

本番サーバでコマンドを実行するのは死と隣り合わせという覚悟を持たず実行するとやらかしがちだが、60台一斉にsshで任意のコマンド実行するツールとか大量破壊兵器すぎる。

[azumi_s]

にゃーん/なんだかんだで20年も業界やってると似たようなヒヤリハット経験はあるので…人を笑わば穴二つ

[cocoonP]

“すべてのサーバーが、吾輩は猫であると表明しています。 (略) こんなに無機質な猫がいるでしょうか…”おもしろい

[tmatsuu]

hostnameコマンドでうっかりホスト名変更してしまった経験が自分にもあるので気持ちはわかる。こういう失敗を糧にインフラエンジニアは成長していくんだ。

[g0ma]

>ユーザーにサービスを提供しているアプリケーションがホスト名に依存した処理をしていることはなかったので、障害には繋がらなかったことは幸いでした。

[buhoho]

東海林のり子「ここに60台の現場猫が居ます」

[t2y-1979]

root 権限で複数サーバーに向けて手作業のコマンドを実行するとか、この人が悪いのではなく組織の運用体制がおかしい

[neco22b]

にゃんと！！！

[ohsawa0515]

コマンドを見てキャッとなってしまった

[crexist]

タイトルでふふってなって開いたら筆者がyonexで2度ふふってなった

[fa11enprince]

笑いすぎて腹痛いw

[Akech_ergo]

60匹のねこを召喚するスクリプトと聞くと、ちょっと欲しくなる。（そして繰り返される惨劇）

[kei_1010]

俺がエンジニアだった頃本番サーバーで rm コマンド使う時、たまに　rm -rf / まで入力して、慎重にバックスペースで消してから「ふー、今日も無事乗り切ったぜ」と生きてる実感(?)を感じてた事がある。

[n_231]

ごめん発生した事象が面白すぎて爆笑した

[psne]

😾ねこでーす♪

[ShigeakiYazaki]

素敵

[filinion]

重大な結果をもたらすコマンドがやたら簡単で、「機能するけど運用上は使用禁止」扱いされてるの、「バルス」もそんな経緯で残ってしまったのだろうなあと。

[diveintounlimit]

にゃーん。

[takeishi]

心臓に悪い

[tockri]

rootで作業しないようにしよう

[sakuro]

ホスト名を変えられる権限でリモートから入れるという状況が信じがたい

[mkzsdisk]

寒中肝試し会場はこちらでしょうか

[tomei10]

60匹の猫か

[hiby]

hostnameは実行コマンドになってしまうのでuname -nを使うべきなんだけど書いてねえ。crontabも/var/spool/cronで確認してからやるべき。また起こるで。

[kzm1760]

無機質な猫で笑った

[petronius7]

猫位で良かったと思う、『社長』『部長』あたりを付けた場合にはサーバトラブルで悪態なんかついた日には悲劇が！

[estragon]

このケースならhostname使うなuname使えだと思うけど、crontabの例にある通り他のコマンドでも起こり得ることだから怖いよね。変数代入失敗してrm -rf /${変数}しちゃうとかね

[zgmf-x20a]

原子名にした事はあるな。7Fまでの制限はあるけど。

[temprasoba]

今週のネコちゃんニューース！！

[sds-page]

コマンド確認ヨシ！しないから･･･

[winterfall]

“すべてのサーバーが、吾輩は猫であると表明しています。”

[ustam]

たまーによくある本番直打ちの開発現場。こういうインシデントに対して「気をつける」という再発防止策を打ち出す現場からは早急に逃げましょう。