ストレージはこわいよ - orangeitems’s diary

ある夜起こったどこかの会社の話 夜も更けた午前3時半ごろの思い出。 オンプレミスでの仮想基盤。いくつものシステムが動いていたのですが突然、この時間に複数のシステムエラーを感知。 電話で連絡が来るようになっていたのですが、あっちもこっちもそっちもどっちもアラートなので何が何だかわからなくなります。 運用設計なんて、特定のシステムがエラーとなったときのことしか考えられていないので、十も二十も同時にアラートになったら破綻します。電話連絡ったって電話は１つしかないので、担当者にはつながらなくなります。 私は運用の場面ではリーダーだったので、メンバーからエスカレーションを受けます。あっちも、こっちも、そっちもエラーですと。何が起こってるの？、わかりません。 眠気なんて一気に吹っ飛ぶのですが、一方で世の中の終わりを悟ります。 例え、この窮地を切り抜けたところで、たくさんの恒久対応までの道のりと、謝罪行

[tsu-nera]

ごめんなさい...(by 元ストレージファーム開発者)

[uva]

明日は我が身なのに「無能」とかどの口が。普段威勢はいいのにいざ本番障害になったらぜんぜん役に立たないやついたなぁ

[delphinus35]

すげえ。この記事に対して「無能」と罵倒できるｽｰﾊﾟｰﾊｶｰがブコメに大集合してる。日本も安泰だな。

[dbfireball]

オンプレは低予算の客でバックアップ無しだったりすると一発でどうにもならねぇ事態まで来る。クラウドのほうがまだ低予算内でも安全側に振った対策が出来るから有りがたいよほんと。

[karkwind]

こういう、実体験、好き

[tanority]

文章にしてくれてありがとうございます。 お疲れ様でした。 ただこうゆう話きくとインフラエンジニアにはなりたくないって思ってしまう

[satmat]

2年間だけSSDのファームウェア開発部門に居たことがあるけど、怖くてストレージ全く信用出来ない

[kagehiens]

無能。リモートで切り分けする人とハードウェアに直接あたるために移動を開始する人を分けろ。そもそも移動する人数は最小で良いわ。

[T-miura]

こういうのから逃げたいので、パブリッククラウド使おうぜ！責任押し付け、ファームアップデートから逃げたい

[kurotsuraherasagi]

わー大変。ファームウェアあてたらあてたで別のバグ引き当てたりするから厄介だよね

[Akkiesoft]

うちもあった。あとディスクのFWもだけどストレージコントローラーも時折ベンダーが引っ込めるような激ヤババグ仕込んでたりするもんね、運悪くそれが出荷時バージョンだと目も当てられないネ

[kotaponx]

root他がroマウントは結構あるあるネタですが焦るんですよね。ext3は過負荷時のtimeoutでもroになりやすい感じ。remountで直れば御の字なのだけど、single user mode + fsckは心臓に悪い……

[sifue]

本当にストレージ怖い。こういう部分だけはケチりたくないなぁ。

[el-condor]

これは辛いやつだ

[hdampty7]

読み取り専用モードの恐怖は自分も体験あります。ディスクアレイの物理的な障害のせいで誤認識になったパターンでした。最低限のファイルを別のストレージに書き出してマウントしなおしてその場を逃げました。

[studymonster]

ヒッ。

[quality1]

胃が痛くなる

[REV]

http://httq.hatenablog.jp/entry/20100809/1281359694

[tohima]

とりあえず、いまの時代の正解はどこの何を使うとかじゃなくてどこまでバックアップするかってことなのかねえ

[kakei-akihiko]

そういえば、今年9月にAWSで顧客データが全損とか言ってた。確実に残したいデータは石版にでも書き込むべきだね。

[zakinco]

やべぇ。SSDだと歴史浅いからさらにヤバそう。クラウドも落ちるからなあ。

[haruten]

復旧や原因究明の真っ最中なのに電話してきて「いつ直るんだ」とか「何やってるんだ」とか言って現場の邪魔する偉い人っているんだよねー。この電話対応がなければ5分早く終わりますよ。

[morimarii]

再起動とか怖くてできないけど、結構えいやでやっちゃうんだよなー

[birds9328]

日曜の夜に見るんじゃなかった('A`)

[furugenyo]

運用担当じゃないし増して開発者じゃないけど、読んでて息が詰まる。。緊迫感。

[Vorspiel]

わかるわ…

[maangie]

※fsckは修正対象のパーティションを必ずマウント解除して行ってください https://users.miraclelinux.com/support/?q=node/173

[mk_55]

こわい

[ryun_ryun]

良記事。無能と言ってる人は障害対応したことないんだろう。こういうのは現場で状況をクリアにして全員が共有しないと余計に混乱する。ホワイトボード最強。

[takuver4]

ひええ怖い。

[wasai]

うわあ、これはきつい

[minoton]

ストレージは安いもんじゃないからSPOFになりやすいよなあ

[marshi]

例のアドベントカレンダーかと思った

[ewq]

こういうの読むだけで胃が痛くなるので、エンジニアやめて正解だったと心から思う…

[napsucks]

あるあるすぎて怖い。コントローラー冗長化しててもバグ引いたら両系障害になるからねぇ。重大なソフトウェア不具合をプロアクティブにレポートしてくれる保守サービスつけた方がいいよ。

[kkobayashi]

そんなにすぐ分かるってことは有名なバグだったの？／それにしても現場の緊迫感が伝わってくる、お疲れさまです・・・

[knjname]

こういう不具合をいちいちチェックできないからパブリッククラウドでバックアップ取りつつ運用するのが本当に一番カンタンだよ

[kzm1760]

批判的なコメントを書く人はブコメで全方位に批判してるわけだけど、日々そんなんで仕事してるのかね。それこそ無能でしょう。それとは別にストレージは難しいよね。全く障害の無いストレージは今まで見たこと無い。

[leiqunni]

運用保守の仕事でストレージか嫌なのは、容量大きいからfsckにもファイルのコピーにも時間がかかって、その間待ってるしか作業できない問題。壊れて復旧無理は最初からなのて冗長持たせたりしる。

[pandafire]

なるほど今日のやらかしちゃったアドベントカレンダーもなかなかの大物だな！と思ったら違った。しかし怖い。原因すぐ分かってよかった。弊社で使ってたストレージ会社はバグを認めず1年後にしれっと修正してたよ