スーパーコンピュータシステムのファイル消失のお詫び | お知らせ | 京都大学情報環境機構

京都大学学術情報メディアセンター センター長 岡部 寿男 2021年12月14日 17時32分 から 2021年12月16日 12時43分にかけて,スーパーコンピュータシステムのストレージをバックアップするプログラム(日本ヒューレット・パッカード合同会社製)の不具合により,スーパーコンピュータシステムの大容量ストレージ(/LARGE0) の一部データを意図せず削除する事故が発生しました. 皆さまに大変なご迷惑をおかけすることになり,深くお詫び申し上げます. 今後,再びこのような事態の生じることのないよう再発防止に取り組む所存ですので,ご理解をいただきますよう,どうぞよろしくお願いいたします. ファイル消失の影響範囲 ・対象ファイルシステム: /LARGE0 ・ファイル削除期間:2021年12月14日 17時32分 ～ 2021年12月16日 12時43分 ・消失対象ファイル:2021年12

[moon3ki]

卒論、修論前のこの時期にこの知らせは辛い。。該当者がいないといいけれど。

[builtinnya]

実行中の bash スクリプトの似たような書き換えはやらかしたことがあるけど、そのときは set -u してたから未定義変数エラーできちんと落ちた。bash スクリプトで「とりあえず付けとけ」的オプションは付けておくと良い。

[yuangao]

「弊社100％の責任」と書いてある障害報告書はじめて見た。担当者は激詰めされてそう。スパコンだと汎用ソフトもなく、手製スクリプトでバックアップなんかねえ。/ていうかミラーリングだけのパックアップはアカン

[tkoutput]

bashの挙動の認識不足によるものなのか。それにしても77TBも消失っていうのが怖い。。。自分だったら発覚した時に心臓止まる

[lHMaUyzK]

これは怖い「実行中のスクリプトが存在している状態でスクリプトの上書きに よりリリースしてしまったことで、途中から修正したシェルスクリプトの再読み込みが発生し、 結果的に未定義の変数を含む find コマンドが実

[kaputte]

実行中のスクリプト上書きして中途半端に混ざって実行されたのは実際に見たことあるけど、こんなにひどいことになるとは。やる前にスケジュールタスク止めて実行中プロセス確認して安全を保障するのはやはり大事。

[zooms]

HP側の報告書にある「100%弊社の責任」という文字、京大側が書かせたんだろうけど、訴訟大国アメリカの本社が良く許したものだ。

[hayashi-1]

HPの「弊社100%の責任」の謝罪文読んだけどこれは辛い。担当者は、新年に下される地獄の沙汰を待ちながら年越すのか。／HPの再発防止策は「もっと気をつけます。研修もします。」だが一般的にはこれでいいのかな。

[naokun776]

アドベントカレンダーの駆け込みにしては大型すぎる案件きたな。データ量もやらかし内容も登場キャラクター全てがでかい

[nakag0711]

シェルスクリプト上書きで異常動作との由。このケースばかりはWindows流のファイルロックが有用か

[deep_one]

「当該ストレージは,主としてスーパーコンピュータによる計算結果を保持するために用いています」再計算すれば結構戻るという事か。／結局、本当に困るデータは8Tか。消えたのは前のバックアップとの隙間部分？

[nozomu365]

ぎょええええええ

[sawarabi0130]

誤ったファイル消失もミラーリングされてしまったのでバックアップがない状態ということか。こういう時ミラーリングはバックアップの用をなさないな…

[slash_01]

これは怖い

[airj12]

「本来は不要になった過去のバックアップログファイルを削除する処理が,/LARGE0 ディレクトリ配下のファイル群を削除してしまう処理として誤動作」うわお

[sabinezu]

京都ってIT関連の大きなトラブルが多いイメージ。

[paradisemaker]

世代バックアップを取らない要件にした京大の責任はゼロってこと？ そんなアホな...。受委託の関係で100%どちらかに非があることなんてないでしょ...。

[kiki-maru]

ミラーリングで大丈夫、他は不要だとHPが言い張ったなら100%責任もわかるが、普通に考えてそんなことはいわないでしょ。運用任されてる癖に全部業者のせいにしようとしてるクズムーブの気配が文章全体からプンプン。

[gggsck]

本番環境でやらかしちゃった人アドベントカレンダー案件やん（こわい）

[gyampy]

ヒェー

[usurausura]

こっちでシェルスクリプトを擁護してた人たちはどう思ってるんだろうid:entry:4708381349809839778

[dot]

関係者、ほとぼりが醒めてからでいいので、いつか「やらかしちゃったエンジニアの体験談」的なやつを書いて欲しい。

[okamotoy]

　「日本ヒューレット・パッカード」であって「日本HP」ではない...と (^^;

[ayakohiroe]

あちゃー

[hevohevo]

シェルスクリプトファイルは逐次読み込み実行されるため実行中に読み込んでない後半部分を書き換えると挙動が変化。vim編集を試すとファイルのiノード値が変わり再現せずcatリダイレクトで再現した。素viなら再現可能？

[torish]

弊社100%責任って。発注者側に管理監督責任あるやろうに。かかせたんやろなコレ。しかもまんまのせるて、発注者側に管理監督責任能力ありませんって宣言してるのと同じってわかってるのか。

[estragon]

スパコンに生データ置いてたのかしら。でもサイズが半端ないんで再生可能なデータばっかじゃないんだろうな

[utibori1]

担当者、責任者の年末年始がとても辛そう。

[stamprally]

いくらすんの・・・

[vnorinori]

怖い…。

[at_yasu]

お疲れ様です…

[namisk]

ミラーリングはバックアップじゃない。スパコンのくせにTBオーダー程度もバックアップせず、ミラーリングだけで運用してたのも悪い。とはいえファイル削除するスクリプトは適用リハも含めて慎重に、だね。

[delphinus35]

は〜。スクリプト上書きでこんなこと起こるのか。知らんかった。rsyncかなんかでリリースしてたのかな。今時のシステムDockerイメージごとdeployするから起こらなそうなミスではある。

[kirakking]

かつてのやらかしがフラッシュバックして心胆凍る。/試したら ; で結合されているコマンドだとsleep挟んで後半書き換えても問題なかったけど、改行したら書き換えが反映された。意味論的にいいのかコレ。

[toro-chan]

100TBレベルなんて大した容量じゃないのだから何世代かバックアップしておけば良かったのに。100万程度をケチるのか。日本の貧乏さを象徴してる。

[kumoha683]

Windowsのバッチファイルも実行中に書き換えると逐次反映して動作するよ

[t-tanaka]

報告書読んでると胃が痛くなってくるな。

[s_nagano]

ゲロゲロ事案

[yamadar]

スパコンに乗るような情報を77TB消失って。

[ifttt]

自分ならどうするかなとリアルに想像してみたけど「京大 スパコン」でエゴサして擁護意見を探して読んで心を落ち着けようとしては現実を思い出して泣くを繰り返しそう