「33自治体のデータがIaaSから消失」、日本電子計算がシステム障害の詳細明かす

日本電子計算は2019年12月16日、自治体向けIaaS「Jip-Base」を利用中の自治体でシステム障害が発生している問題について記者会見を開き、山田英司社長が「大変申し訳なく思っている」と謝罪した。同社によると、15％のデータはIaaS内のバックアップも見つからず、単独での復旧が不可能。残りの70％は復旧、15％は復旧作業中であることが明らかとなった。 これまで「50自治体」としていたのは、正確には47自治体と、6の広域事務組合や図書館であることも説明された。バックアップが見つからない15％には、このうち33自治体のデータが含まれるという。システム構成も一部が明らかにされ、仮想環境で1318の仮想OSが稼働していたことが判明した。 日本電子計算は復旧作業に当たって、IaaS内からOSやアプリケーション、業務データを含む仮想環境のイメージデータを復旧したり、イメージデータを同社のバックア

[thekoruku]

こういう"本物"がやらかしアドベントカレンダーに出てほしい

[ytRino]

もはや行政がAWS,GCP,Azureを使うことを誰も責められまい

[elfsky]

良く分からんな。そも「バックアップも見つからず」ってなんだ？いったい何を提供する会社なんだ？？？

[kazkun]

バックアップがイザというときに使えなかったというのは時々聞くが、このレベルのシステムとしてはイロイロお粗末な感じだなあ。データ漏洩の件も含め自治体も他人任せに出来なくなってきた。が、この人材不足。

[nekopunch222]

読んでたらぽんぽんぺいん

[crosscrow]

もはや、日本製の情報サービスは信用できんな。AWSかAzure、GCPでいいや。

[uunfo]

バックアップがあるふりをしたクラウドか。やはりAWSが最強だったな。いくらで請け負ってたんだろう

[koroharo]

現場の人たちが年末年始休めることを祈る。

[lont_in]

OSもデータ領域も筐体ストレージで担っていたのか。こっちの記事のほうが分かりやすかった / https://internet.watch.impress.co.jp/docs/news/1224846.html

[kagerou_ts]

ミラーリング組んでたHDDの片方がアラート出したから取り替えたらその復元中にもう片方もアラート出してきたの思いだしますわーー

[fukuroiri]

ストレージはRAIDで、ドライブのファームウェアに不具合あって分割データの整合性がなくなりアクセス不能。それだけでなくバックアップ動作に不具合あって取れてないデータが15％ある。orz

[asakura-t]

↓AWSのEBSが吹っ飛んで問題ないなら、これもストレージが吹っ飛んだだけだから問題ないって話になるよなぁ（なので、これがAWSでも同じ問題は起こるだろう、としか言えないのでは？）

[tettekete37564]

AWS が信頼されているのはインフラからサービスまで dogfooding だから。バックアプするのは当然として定期リストアテストも重要 / AWS って米の銀行系でも使われてるはずだが冗長構成でデータ飛ばした事例ってあったっけ？

[tsysoba]

これは辛すぎる。

[otchy210]

ついにニュースになったか。うちの自治体が対象で、子の学校から「今学期中に通信簿発行できません。来学期になります。」って通知来てた。受験で必要な場合は別途対応するとの但し書き付き。

[lshenqi]

サービス形態がわかんないからなんとも言えないけど一般的にはIaaS上のデータのバックアップは使う側が考えることじゃないの、それなのに事業者が悪いとか言ってるのはなぜ

[caribou404]

気になってる。これは、日本だからダメなわけでも無いし、外資系インフラを使えば安心できるという話でも無い。多層でバックアップしていくことが大事では（例えば、インフラ/システム運用/自治体それぞれの層で）

[orangehalf]

バックアップが正常に機能してないのは怖い。一部のデータだけ復旧できないバックアップの不具合ってどんなのだろう。単純にバックアップ対象の指定に問題があったとかかな、それだと不具合ではなく設定ミスと書くか

[satomi_hanten]

細かい事情はまだ分かんないけど担当者の人はイキロ・・・。

[yodelx]

"バックアップ機能にも一部不具合が見つかり、これが原因で復旧できないデータが15％" DellEMCも少し絡んでいそう。

[rxjun]

日本電子計算機の自治体IaaSシステム。結局データ消失したそうで。ストレージのファームウェア不具合とか。バックアップも不具合とか色々怖すぎて背筋が凍る。

[linden]

イェアアアア

[bobbyjam99]

"EMCジャパンもクリティカルなバグだとの認識ではなかった。重要度の低いものとして知らされていたのであれば、日本電子計算側で適用していなかっただろう"

[tecotex]

いまこそさくらの出番だよ

[ahijo0523]

バックアップの重要性がよくわかる・・・。おそらく、基盤がでかくなりすぎてハウルの動く城状態だったと予想。このニュースで、自治体含め日本のIT界隈がインフラを意識してくれれば少しでも報われる。

[su_zu_ki_1010]

システム屋としては、今まさに担当している担当者および、その上司氏に同情する。。。

[mugicha1000]

基盤があってこそのサービスなんですよ…

[hiby]

“15％のデータはIaaS内のバックアップも見つからず、単独での復旧が不可能”

[helldeath]

なんか消さなきゃいけないデータでも保持しとったんかと勘ぐる

[hiroyuki1983]

消失が判明したときの現場の空気が知りたい。でもここまで救いようがないと逆に割と冷静かも知れんが

[hilde]

イマジナリーバックアップ

[shag]

EMCの何使ってたか知らないけど、謳い文句のx重多重化！とかを信じて backup 適当にやってたんだろうか。この会社の運用スキルに問題があることは疑いないけど、public cloud にしたら解決する問題でもない。

[suika3417]

地獄だな…

[mobits]

ブコメ “AWSがストレージデータを復旧不可能な状態にするかと言われるとちょっと考えられないのも事実” なんの盲信か知らんが機械である以上ありえるからバックアップは必要なんやで。つかAWSは飛ばした実績あるぞ。

[daishi_n]

IaaS側に共用のバックアップサービスを用意してたのか、システム毎個別バックアップなのか分からないけど、前者だとシステム固有の問題でバックアップ取れない事もあるしな。スナップショットもファームの問題あるし

[keidge]

EMCのUnityをFC-SANのブロックストレージとして使用していたようだ。昔からやっているサービスっぽいし、コンバージドインフラの名残か。当時はVblockと呼ばれていたのかもしれない。

[mas-higa]

"まだ復旧作業中であり、責任を問う段階にはない" これを分かってるのが救いではある

[alt-native]

これに予算いくら積んでたのか。納税者は業者のプロポーザルの内容を知ってもいいのでは？

[kzm1760]

パブリッククラウド使えばいいとかいう話では無いんだろうけど、それでもAWSがストレージデータを復旧不可能な状態にするかと言われるとちょっと考えられないのも事実かな。中の人の皆さんお疲れ様です。