本番環境でsudo yum updateしてサービスが動かなくなった - Qiita

EC2 (Amazon Linux) Apache php7.1 私がやってしまったこと この事件が起きたのは2020年6月。既に稼働しているWebサービスでとあるデータ取得の処理が止まってしまっているので調査してほしいと頼まれました。また、サービスに影響が出るものだからなるべく早めに対処してほしいと言われました。 マネージャー 「今日の夕方までにはお願いね。もし難しそうだったら午後イチで一旦MTGしよう。14時までに連絡をください。」 わたし 「任せてください！」 ・・・・ とは言ったものの、本番サーバーで起きている障害の調査は今までやったことがありませんでした(もちろん本番サーバーにログインしたこともない)し、進め方も全く思いつきませんでした。しかも、対応するサービスの開発には携わったことがなく、sshログインの設定から行う次第でした。 まあ、今まで頼まれたタスクを期限内に終えられなか

[Keisuke69]

これこの人というよりも、今までやったことない人、本番作業すらしたことない人に1人でやらせたマネージャーが良くないのでは

[n_231]

本番sudo権を素人に握らせるな

[delphinus35]

ひええええ。なんで調査のためだけにroot権限与えてしまうの……／再度読んだけど、「調査してくれ」であって「不具合を直してくれ」とは頼まれてないよな。どうして……どうして……

[stealthinu]

これはこの人に丸投げで振ったマネージャーが悪いだろ。間違いなく。2日目のネタとしてはちょうどいい軽さだったな。

[rAdio]

大昔の話ではなく2020年6月の話ということで、やらかしそのものより現在進行形で社内体制に不安がこみ上げてくるエントリ。

[kazema_tsu]

マネージャーにも責任あるよね。よろしくねーじゃなくて面倒みないと。

[IZqCqpA629KuL1]

2020年にもなってサーバーに入らないとログも見れないようなObservabilityの低い運用をしてる事自体がやらかしな気がする。

[takyam1213]

あるある

[tsutsumi154]

なんでそんなメンバーにsudo権限与えてるんだ

[rti7743]

本番環境では余計なことはしないのが一番だ。調査ならログを回収して調べるだけでよかったわけで。readのみでwriteは注意しないと。管理画面からログ回収をできるようにするといいよ。sshしなくても済むんだし。

[rochefort]

恐ろしいな。本番でsudo yum updateしちゃうって。

[tyoro1210]

『あれ、なんか警告出てるな。sudo yum update か。よし、やっておこう。』 ヨシッ / 『怒る人は誰もおらず、どうしたらこういう事故が起こらなくなるか一緒に考えようと言ってくれました』 よかった

[John_Kawanishi]

｢あれ、なんか警告出てるな。sudo yum update か。よし｣って現場猫かよｗ本番環境なのにえらいCasualにUpdateしたなぁやっぱり動かなくなることあるか。ヘタにパソコン慣れている新人こをやりがちか

[yatta47]

失敗からしっかり学んでる。

[htnmiki]

おおらかな会社だな（）

[vuy]

なぜsudoで？みたいなコメントあるけど恐らく初期ユーザーを使いまわしてるんじゃないかな。誰がyum updateしたか把握できてないし。

[pinossos]

誰のミスかを追及するブコメが多くてしんどいな...必要なプロセスだけどそこで止まるとつらい

[masashichan]

「調査してくれ」のあとに「対処してくれ」って、依頼内容が変わっているように読める。このふたつ全然意味違うんで、これが生の発言そのものか、筆者がそう解釈しちゃったかどちらだろうってすげえ気になる。

[rs250]

こういうのよくあるから最新パッケージ入れてセキュリティ強化しましょうって言われても及び腰になるよなー。別環境でテストするのも楽じゃないし。

[ryouchi]

手順がないのがあかんなー

[spark7]

curlは証明書エラー無視みたいなオプションでしのげるとしても、元のデータ取得の不具合はなんだったんだろ。/ sudo入りまーすみたいなレジの万券的な確認が必要なのかね。

[gontta]

いい

[prjpn]

Docker等で動くことを確認することが重要

[koogawa]

本番環境でやらかしちゃった人 Advent Calendar 2020 はじまってた

[sds-page]

セキュリティ意識の高い子が毎回律儀にアップデートしてくれたおかげで本番環境止まった事あるなー

[maketexlsr]

“わたし　「任せてください！」 ・・・・ とは言ったものの、本番サーバーで起きている障害の調査は今までやったことがありませんでした(もちろん本番サーバーにログインしたこともない)” なにいってだこいつ

[natu3kan]

テスト環境で大丈夫だからすぐ本番ってやらないで、ステージング環境でのテストって大切だなって思いました。熟知した人以外が管理者権限で入れちゃうのは、焦ってやらかす場合もあるし危ないよね。

[Barton]

マネージャーがこれはいかんでしょ…。まず内容把握でしょ。後本番サーバに入ったことのない人に任せるだなんて…。他にも検証環境はどーした。それで確認してから本番だろ…。それにこれ一人でやるもんじゃあないぞ

[morimarii]

この内容が障害報告書に描いてあったらまずメンバーの本番環境ログインできるアカウントを即時停止する必要がありますな。。。

[uxoru]

これに近いことを数日前にやらかしました（すぐ復旧できた）

[harukanium]

この間aptitudeでローカル環境壊した私にはタイムリーな話

[NOV1975]

知見というレベルではなかった。怖い

[zakinco]

あるある。ホームサーバで気安くapt upgradeして動かなくなるアプリ多数とか。

[electrica666]

不幸中の幸い過ぎる...。タイトルのパワーで胃が痛くなるなこれ。

[flirt774]

ショック療法的な、失敗させようという意図なら良かったけど、そうではないよね。。マネージャーが悪い人

[hatomugicha]

わろた

[diabah_blue]

2019年9月時点で大学院生だったらしい https://qiita.com/maip0902/items/0b2a1297302ee043ef9c ので、新入社員（？）にroot権限与えるマネージャーがどうかしてると思う。

[lejay4405]

なんでよくわからん人に投げたし！コワイ！！

[moto_motosaka]

あるある〜〜って、そんなことあるかーい！！！って気持ちにしかならなかった

[hirose30]

これ、やったことあります😇