どうも！アプリケーション基盤チームの@yokotaso です。 2017/11/13 にサイボウズLiveの長時間にわたる障害が発生しご迷惑をおかけしました。 技術的な調査が一段落し、対応を進めております。 障害にいたった原因と対応のお話をさせていただきます。 簡単なまとめ Java8u152以降で、CPU負荷が高まる現象 Java標準のデシリアライズとSecurity Managerの相性が悪くなった 解決策は現時点では存在しない。サイボウズLiveでは、Java標準のデシリアライズをやめる準備段階 障害発生時の状況 障害発生の数時間前に、運用マシンのメンテナンスを行っておりました。 Javaのマイナーアップデート カーネルのアップデート その他、設定ファイルなどの更新 障害発生時には次のような現象が見られました。 JavaプロセスがCPU高負荷状態 MySQLに大量のロック及びエラーが

先日、ioドメインの障害があったのだけど、自分がDNSの仕組みをよく分かっていないせいで、いまいちどういうことが起こっていたのか把握できなかった。そこで、DNSの仕組みについて軽く勉強したので、そのメモを残しておく。内容は間違っているかもしれないので、その場合は指摘してください。 DNSについて学んだこと Software Design 2015/4のDNSの教科書が非常に勉強になった。また、 インターネット10分講座：DNSキャッシュ - JPNICも参考になる。 権威サーバとフルリゾルバ まず、DNSサーバには権威サーバとフルリゾルバの二つの種類が存在する。 権威サーバ ドメインの情報を管理し、自分の管理しているゾーンの情報を提供するだけのサーバ 問い合わせたドメインが自分のゾーンの管理下ではない場合、別の権威サーバへ委任するという情報を返す コンテンツサーバとも言われる? 例) co

「ネットワークの誤設定により、インターネットサービスにアクセスしづらくなる障害が発生した。ご不便、ご心配をおかけしたことをお詫びする」――。2017年8月25日昼ごろ日本国内で発生した大規模な通信障害。これについて米グーグルが、原因となる誤設定があったと、謝罪の意を8月26日に表明した。 当初より識者の間では、「グーグルから送られてきた大量の経路情報が引き金になったのではないか」との見方が強かった。実際にその通りだったわけだ。 とりわけ大きな影響を受けたのが、NTTコミュニケーションズとKDDI、そしてこの両社の通信サービスを利用していた法人・個人だ。インターネットの接続から各種ネットサービス、金融取引、モバイルSuicaのような決済サービスにまで影響が及んだ。 ただグーグルは、同社がいう「ネットワーク誤設定」が、人為的ミスなのか、ソフトや機器の不具合によるものなのかまでは明らかにしていな

Webオペレーションエンジニアの id:y_uuki です。 2017年8月7日に、メンテナンスの完了報告及びデータ消失とカスタムダッシュボード、式監視の不具合に関するお詫びにてお知らせしたメンテナンス作業時間中のデータ消失について、本エントリにて技術的な観点から原因の詳細をお伝えいたします。 概要 2017年8月7日(日本時間)に、オンプレミスデータセンターからAWSへ、Mackerelをシステム移行するためのメンテナンスを実施しました。 メンテナンス開始時間である14:30以降のデータ同期に失敗していたPostgreSQLデータベースサーバへの意図しないフェイルオーバーが、メンテナンス作業途中の15:30に発生した結果、14:30から15:30の間に更新されたデータを消失しました。 移行作業後のアプリケーションの動作確認中に、特定時間帯のデータを消失していることを発見し、データの復旧を

Azureの東日本リージョンが7時間にわたってダウン。原因はデータセンターの冷房が失われ自動シャットダウン。日本のリージョンはこの1カ月で三回目の障害 3月31日金曜日の午後11時頃から最大約7時間にわたって、Microsoft Azureの東日本リージョンの仮想マシンやストレージなどを含むほとんどのサービスがダウンするという大規模な障害が発生しました。 「Azure の状態の履歴」によると、マイクロソフトは原因をデータセンターの冷却が正常にできなくなったためだと次のように説明しています。 Engineers have identified the underlying root cause as loss of cooling causing certain Storage and Compute scale units to perform an automated shut down

果たしてGitLab.comで何が起きたのでしょうか？ これまでの経緯をまとめました。 スパムによるトラフィックのスパイクからレプリケーションの不調へ GitLab.comは今回のインシデントについての詳細な経過を「GitLab.com Database Incident - 2017/01/31」で公開しています。また、もう少し整理された情報がブログ「GitLab.com Database Incident | GitLab」にも掲載されています。 これらのドキュメントを軸に、主なできごとを時系列に見ていきましょう。 1月31日16時（世界協定時。日本時間2月1日午前8時）、YP氏（Yorick Peterse氏と思われる）はPostgreSQLのレプリケーションを設定するためにストレージの論理スナップショットを作成。これがあとで失われたデータを救う幸運につながります。 1月31日21時

Working on restoring GitLab.com. FAQ below. * Blog post https://about.gitlab.com/2017/02/01/gitlab-dot-com-database-incident/ * Who did it, will they be fired? Someone made a mistake, they won't be fired. * The audio is too low, can you fix it? No, we're sorry. * Why is the restore so slow? We're limited by the disk speed of a non-production machine. * Size of the DB? 310GB * How long will t

日本国内で、ガス消火設備の放射音がデータセンターのハードディスクを破壊する可能性についてメーカーが注意喚起済み。実験でも回復不能になる事象を確認 大手金融機関INGの基幹データセンターで、消火ガスの噴射テストにより生じた激しい爆音がハードディスクなどを大量に破損、ATMやカード決済などの銀行業務が停止する深刻な事態が発生したことを報じた1つ前の記事には、非常に多くの反響がありました。 ING銀行の基幹データセンター、消防訓練で消火ガス噴射の衝撃音が大量のハードディスクとサーバを破壊。ATMや決済サービスが停止に こうした消火ガス放射音によってハードディスクなどが故障を起こす可能性があることは、すでに日本国内で防災機器メーカーから注意喚起されていたとの情報を、はてなブックマークでいただきました（id:poko_penさん、ありがとうございます）。 それが能美防災株式会社が2014年2月付で公

ING銀行の基幹データセンター、消防訓練で消火ガス噴射の衝撃音が大量のハードディスクとサーバを破壊。ATMや決済サービスが停止に オランダに本社を置く大手金融機関INGの基幹データセンターで、消防訓練のため消火ガスの噴射をしたところ予想以上に大規模な衝撃音が発生。大量のハードディスクやサーバが故障したと報道されています。 Fire drill knocks ING bank's data centre offline - BBC News ING Bank pays back fees to clients affected by system crash in Romania A Loud Sound Just Shut Down a Bank's Data Center for 10 Hours | Motherboard これにより9月10日土曜日の朝から夜まで、同社のATMやカード

こんにちは！広告エンジニアのレオです。最近、システム障害を起こしていますか？クックパッドも例外ではないです。毎月、何かしらのシステムに何かしらの障害が起きてしまいます。その際、早く気づき、速やかに対応することによって被害を最小限に留めるように努めます。そして、システムやデータを正常な状態に復旧させます。 正常な状態に戻した段階では対応はまだ完了していません。問題の本当の原因は何なのか、またその再発をどうやって防止するかを考えて手を打つまでは、障害の対応が完了したといえません。予防しない限り、また同じ過ちを繰り返すことになってしまいます。 失敗は成功のもと 根本原因分析、そして再発防止は大事な作業ですが、とても難しい作業です。クックパッドでは、これらを少しでもやりやすくするために、ルールと仕組みをまとめています。この仕組みを「Failure teaches Success」（略してFtS）と

Google Compute Engine、全世界のリージョンが同時に外部とのネットワーク接続を失うという深刻な障害が発生。ネットワーク管理ソフトウェアにバグ クラウドのどこかで障害や災害が発生したとしても、その影響はアベイラビリティゾーンを超えることはなく、そのために複数のアベイラビリティゾーン（Google Compute Engineでは「ゾーン」）にシステムを分散して配置することで、クラウドの障害の影響を受けない高い可用性を備えたシステム構築ができる。これはクラウド（IaaS）に対応したシステム構築におけるもっとも基本的な考え方です。 しかし先週、2016年4月11日にGoogle Compute Engineで発生した通信障害は、アベイラビリティゾーンどころかリージョンの境界も越え、世界中にあるすべてのリージョンのインスタンスが同時に外部とのネットワーク接続を18分間に渡って失う

日本時間で1月28日木曜日午前9時過ぎから発生したGitHubのサービス障害は、同社のデータセンター内での一時的な停電をきっかけに連鎖的に発生した障害の影響であることが、GitHubのブログに投稿された記事「Update on 1/28 service outage」で説明されています。 GitHubのブログから引用します。 A brief power disruption at our primary data center caused a cascading failure that impacted several services critical to GitHub.com's operation. 主データセンターにおける一時的な停電が連鎖的な障害を引き起こし、GitHub.comの運用にいくつもの深刻な影響を与えてしまった。 GitHubの説明によると、障害が発生したのは協