障害プロセスを改善してきた話 こんにちは。Reliability & Securityチームに所属するSoftware Engineerの@sota1235です。 今回は10X内における障害対応プロセスの改善をご紹介します。 今が完成系ではなく道半ばではありますがこの半年 ~ 1年で大きく進化したので同じくらいのフェーズの会社で困ってる方がいたら参考にしてみてください！ ちなみに私ごとですが去年の5/26にこんな投稿をしてたのでやっと伏線を回収する形となります(※ ドヤ顔ではありません)。 目次 こんな感じで紹介していきます。 目次 障害対応プロセスの改善に踏み切った背景 課題1. 障害の報告フォーマットが統一されていない 課題2. 障害報のクオリティの差異が大きく後から振り返りが難しい 課題3. 障害対応者が特定の人に偏る 第一の改善 改善1. 障害報告書のフォーマット更新 改善2. S
クレジットカード決済トラブル解消 原因調査 | NHK
11日午後、全国のスーパーやJRの駅などでクレジットカードの決済ができないトラブルが起きましたが、クレジットカードの決済システムを運営している「日本カードネットワーク」は午後10時すぎにトラブルは解消したと発表しました。会社は詳しい原因を調べています。 クレジットカード会社の「JCB」によりますと、11日午後、全国のスーパーやコンビニそれにJRの駅などでクレジットカードの決済ができないトラブルが起きました。 このうち、JR東日本でも駅の券売機でクレジットカードが使えなくなり、JR渋谷駅の券売機にはクレジットカード決済が利用できないことを知らせる貼り紙が貼り出されました。 JCBによりますと子会社の「日本カードネットワーク」の決済システムに障害が発生したということです。 「日本カードネットワーク」は午後10時すぎにトラブルは解消したと発表し、「多大なるご迷惑をおかけしましたことを深くおわび申
先月の台風19号で記録的な大雨となった際に各地の自治体ではホームページを通じて防災情報を伝えていましたが、ＮＨＫがＳＮＳへの投稿を分析したところ、当時、関東から東北にかけての少なくとも11の都県の合わせて53市区町村でホームページがつながりにくい状況になっていたとみられることが分かりました。 これについてＮＨＫでは、国の情報通信研究機構が運用する災害時のツイッターの投稿を解析する「ＤＩＳＡＡＮＡ」と呼ばれるシステムを使って、台風19号が接近した先月12日から14日にかけての投稿を調べました。 その結果、「ホームページが見られない」とか「サーバーがダウンしている」など、自治体のホームページがつながりにくいこと示す投稿が寄せられていたのは東京都や埼玉県、それに長野県など、関東から東北にかけての少なくとも11の都県、合わせて53の市区町にのぼることが分かりました。 こうした地域の多くは、特別警報
緑丸（鳩塚線1号・もう一系統ある鳩ケ谷変電所からの系列）の部分は生きているので、点検を終了後緑部分で受電再開すれば復旧は早い。前回の停電は、緑丸下のC-GIS部分の点検ミスなので今回は問題ない。蕨変電所構内は、以前のチャネル鉄構からC-GISに切替ているので、今回は切替前の気中接続部が燃えているだけ。変圧器の内部圧力を逃すパイプから炎がでているので変圧器内部に相間コイルショートから圧力上昇 吹き破り弁を破り絶縁油もれ発火。66kV側ブッシング繋目の脆弱部分から絶縁油もれ発火 154㎸降圧66ｋV損傷だと交換に時間が掛かるので当面は、片肺運転（片方の154㎸降圧66㎸変圧器は生きている・鳩塚1号）
2023年3月、横浜市のコンビニの証明書交付サービスでトラブルが発生した。住民が住民票の写しの交付を申請したところ、別人のものが発行されたのだ。原因は富士通Japanが手掛けるサービスの不具合だった。利用者が増えて負荷が高まり、潜在的なバグが表面化した。国がマイナンバーカード普及に力を注ぐ中、冷や水を浴びせる結果となった。 「個人情報漏洩にも当たる事案で大変重要な問題であり、遺憾に思っている」――。河野太郎デジタル相は2023年3月31日の閣議後記者会見において、厳しい口調でこう述べた。河野氏が言及したのは、横浜市で発生したコンビニの証明書交付サービスにおける住民票の誤発行トラブルについてだ。 横浜市のトラブルは2023年3月27日昼に発生した。住民がマイナンバーカードを使って住民票の写しの交付を受けようとしたところ、他人の住民票が誤発行される事象が相次いだのだ。原因は富士通Japanが手
津波注意報に伴う緊急速報メールの配信について
トンガ沖の火山噴火に伴い気象庁が発表した津波注意報について、県内沿岸部の市町を中心にプログラムの設定ミスにより、緊急速報メールを何度も配信したことが判明しましたので、報告します。 県民の皆様におかれましては、ご迷惑をおかけし、深くお詫び申し上げます。 1 概要 令和4年1月16日午前0時15分に気象庁より発表された津波注意報に関して、本県から自動的に緊急速報メールを何度も配信した。 2 配信地域 16市町 (横浜市、川崎市、横須賀市、平塚市、鎌倉市、藤沢市、小田原市、茅ヶ崎市、逗子市、三浦市、葉山町、寒川町、大磯町、二宮町、真鶴町、湯河原町) ※携帯電話事業者の基地局から配信するため、基地局等の関係で、隣接する地域にお住まいの方は緊急速報メールを受信された場合があります。 3 原因 緊急速報メールを配信するシステムである災害情報管理システムの委託業者によるプログラム設定ミス
こんにちは、ネコ派メタラーです。ナビタイムジャパンで地点検索基盤の開発マネジメントを担当しています。好きなバンドは Arch Enemy です。 システム運用に関わる人であれば、「システム障害」というと耳が痛い方が多いかと思います。システム障害は起こさないに越したことはないですが、万が一システム障害が発生したとき、その行動選択はサービスの信頼性を大きく左右することになります。 迅速に復旧させることはもちろんですが、適切な情報公開によってユーザーの不安を払拭するといったコミュニケーションも重要なポイントです。しかし、緊急事態というプレッシャーを受けながら最適な行動を選択することは容易ではありません。 私が所属しているチームでは、Web API サーバソフトウェアから全文検索ミドルウェアまで含めた開発・運用を行っており、幅広いトラブル対応スキルが必要になります。トラブル対応のスキルを持ったベテ
高須克弥 on Twitter: "僕のいま手にいれた情報では間違いななく外国人グループが関与しています。 必ず捕まえます。 残念ながら、今回のサーバーテロが大村知事リコールの運動の勢いを止めることに絶大な効果があったことは認めます。 絶対に許しません。必ず捕ま… https://t.co/UcfAJ4R5qa"
僕のいま手にいれた情報では間違いななく外国人グループが関与しています。 必ず捕まえます。 残念ながら、今回のサーバーテロが大村知事リコールの運動の勢いを止めることに絶大な効果があったことは認めます。 絶対に許しません。必ず捕ま… https://t.co/UcfAJ4R5qa
4月3日の午前中に発生した「フレッツ光」と「ひかり電話」の障害ではNTT東日本、NTT西日本を合わせて最大約44万6000件に影響が出た。原因は新しい加入者装置に特殊なパケットが届いたこと。ただし「アタックである可能性は限りなく低い」としている。 障害が発生したのは午前7時10分ごろ。複数のNTT局舎内にある加入者収容装置が特殊なパケットを受信後にリブートした。フェイルオーバー機能が働き、自動的に別の装置に切り替わったものの、そちらも同じ障害が発生した。 NTT東では49拠点89台、NTT西は21拠点27台の加入者収容装置で同時に障害が発生し、ネット接続サービスの「フレッツ光」と光回線を使う電話サービス「ひかり電話」が一時つながりにくい状態になった。ひかり電話は緊急通報にも支障をきたし、消防庁が公式Twitterアカウントで「携帯電話や公衆電話の利用、消防への直接駆け込み」を促すツイートを
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について当社システムに起因した度重なる証明書誤発行およびそれに伴う個人情報の漏えいにより、自治体様ならびに証明書交付サービスをご利用の皆様に多大なるご迷惑ご心配をおかけしておりますこと深くお詫び申し上げます。 今般、デジタル庁様より、今後はこのような事態が起こらぬようシステムの運用を一時停止して再点検を行うようご要請頂きました。 当社といたしましては、これまでの一連の事案を受けてシステムの点検を進めてまいりましたが、この度のご要請を厳粛に受け止め、真摯に対応してまいる所存でございます。対応に際しましてシステム運用の一時停止を含め点検に対するご協力を各自治体様にお願いさせて頂くため、自治体様ならびに多くの皆様にご迷惑ご不便をおかけいたしますことを重ねてお詫び申し上げます。 なお、自治体様毎にシステム環境が異なるため、具体的な内容につ
「プッチンプリン」をはじめとする江崎グリコのチルド食品が店頭から姿を消した。2024年4月3日に実施した基幹システムの切り替えでトラブルが発生。同社が物流・販売を請け負っていた他社製品を含め、一部商品を出荷できなくなった。同月18日に出荷を一部再開したものの、トラブルは終息せずに再び出荷を停止。システム障害の影響で、当初業績予想より売上高を200億円程度押し下げるとみる。 「スーパーにもコンビニにも『プッチンプリン』が見当たらない」「『カフェオーレ』を長年愛して飲んでいるが、どこの店舗も販売休止中だ」――。2024年4月中旬、X（旧Twitter）で、このような投稿が相次いだ。 江崎グリコの看板商品が店頭から姿を消した理由は、システムトラブルによるものである。同社は2024年4月3日、基幹システムの切り替えを実施した。旧システムを独SAPのERP（統合基幹業務システム）パッケージ「SAP
発生原因 ap-northeast-1a(ID:apne1-az4) に設置されたELBのノードが、5XXのエラー応答を戻していました。 暫定対処 ELB(ALB) で利用していたAWS WAFの保護設定を一時的に解除、ELB_5XXエラーが抑制された事を確認しました。 対応経緯 14:20 チャットの通知より、DevloppersIOのブログ基盤から HTTP 5XX の発生している事を確認 14:30 ElasticBeanstalkのダッシュボードの「WARN」イベントより、HTTP 5xx の発生状況を確認 CloudWatchの ALB ダッシュボードより、HTTP 5XX の発生状況を確認 ALBのCloudWatchメトリックより、ELBに起因する「ELB_5XX」エラーである事と、 AZ別のメトリックより ap-northeast-1a(ID:apne1-az4)、アベイア
「なんかアプリでインシデント起きてエンジニアがどこかで対応してるらしいよ」 「インシデント時のお知らせって誰がどうやって出すんだっけ？」 「インシデントの復旧作業って今どれくらい終わってる？」 「あのインシデントって振り返りしたっけ？」 「似たようなインシデント、前も対応したような、していないような」 このような会話に覚えはありませんか？ FiNC Technologies社 (以下FiNC) では今まで インシデント対応をしていても自チーム内で対処しようとしてしまい、他の人が気づけないインシデント対応の仕方にフォーマットがなく、迅速な対応やお客様への報告ができないインシデントの振り返りが実施されず、インシデント時の知見が共有されないという問題がありました。 それらの問題を 気が付きやすく、シェアしやすくする = 統一のチャンネルで情報を整理し、そこにシェアしやすい空気を作る何をすべきかわ
みずほ銀行は20日午後、「12時頃にシステムが復旧しすべての取引が可能」となったと発表した。同行ではシステム障害で一時すべての店舗窓口で入出金や振り込みなどの手続きが出来なくなっていた。システム障害は今年だけで5度目になる。みずほは午後5時に記者会見を開く。坂井辰史みずほフィナンシャルグループ社長や藤原弘治頭取らが出席して、詳しい原因などを説明する。ATMやインターネットバンキングは通常通り利
障害発生！全員集合？ － オンコールアンチパターンからの一歩前進 - Cybozu Inside Out | サイボウズエンジニアのブログ
8月だというのに涼しい日が続きますね。 kintone.comのDevOpsをしている@ueokandeです。 もうすぐAWS版kintoneのローンチからから2年が経過しようとしています。 この2年間、DevOpsチームではkintone.comのサービス安定化やスケーラビリティに注力してきました。 時には本番環境の障害で休日や深夜に障害対応することもあります。 kintone.comの障害の一次対応は、我々DevOpsメンバーが実施しています。 サービスローンチ直後は、メンバーの多くがオンコールに不慣れで、慌てて障害対応したりうまく進められないことが何度もありました。 そこでメンバー全員が効率的・効果的な障害対応を目指すべく、チームでPagerDuty社のIncident Response（非公式日本語訳版）を読むことにしました。 この記事ではAWS版kintoneで実際に体験した障害
動機 おそらくCMSがクラッキングされて、私のブログの文章を断片的にコピーしたサイトがフィッシングサイトへの誘導に使用されているのを見つけたので、コンテンツをホスティングしている会社に片っ端から不正利用を報告しました。各社の窓口と対応スピードをまとめておけば、今後の自分の役に立ちそうだったのでまとめておきます。 なお、他人のブログをコピーしたものをつなぎ合わせたり、キーワードがひたすら埋め込まれたページを追加してフィッシングサイト等に誘導する手口はジブリッシュハックと呼ぶそうです。 意味不明な内容によるハッキングを解決する | Web Fundamentals | Google Developers 被害を受けるとこういう感じのページが量産されます。 今回の報告はすべてジブリッシュハックに対するものです。 なお、今回の報告対象は脆弱性ではないのでIPAには報告していませんが、脆弱性
パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず
パッチ盤からケーブルを引っこ抜いてしまいCloudflareに障害発生。ケーブルにラベリングされておらずどれを戻すべきかすぐに分からず CDNプロバイダのCloudflareは、世界協定時4月15日の午後3時31分から午後7時52分（日本時間4月午前0時31分から午前4時52分）まで、ダッシュボードおよびAPIが使えなくなるという障害を発生していました。 Cloudflare Dashboard and API Outage on April 15, 2020https://t.co/zJctsOomVf — Cloudflare | #BuiltForThis (@Cloudflare) April 16, 2020 同社のブログ「Cloudflare Dashboard and API Outage on April 15, 2020」によると、同社の2つのコアデータセンターのうちの1
TISによれば、RemoteWorksは約400社が使い、2万IDを抱える。現在は全面停止している。不具合の原因についてTISは「利用者数の急増に伴い不具合が発生しているようだ」（広報）とする。セキュリティー面の脆弱性が存在する可能性も考慮に入れて、調査を進めているという。既存ユーザーへの代替手段の提供に関しては「個別に調整を進めている」（同）。 RemoteWorksを全社推奨ツールとして使っているJTBはサービス停止により一部の業務で支障が出ている。「リモート環境での代替手段がない業務については担当者が出社して対応している」（JTB広報）という。
アメリカのIT大手、マイクロソフトは、自社が提供するチャットやオンライン会議のサービス「チームズ（Teams）」で、アクセスできないなどの障害が発生していると発表しました。 マイクロソフトによりますと、内部のストレージサービスに問題が見つかったということで、現在、復旧を急いでいるとしています。 インターネットサービスの通信障害についてまとめているサイト「ダウンディテクター」によりますと、影響は、日本のほか、アメリカやオーストラリアなど世界各地で確認されているということです。 「チームズ」は、マイクロソフトが、2017年から一般向けに提供を始めたサービスで、新型コロナウイルスの感染拡大で在宅勤務が普及したことをきっかけに、世界各地で利用者が増加し、月間の利用者数は2億7000万人以上に上るということです。 SNSに“仕事や学業に影響”投稿相次ぐ SNS上では、オンライン授業やミーティングに参
先月の生産指示システムの不具合について | コーポレート | グローバルニュースルーム | トヨタ自動車株式会社 公式企業サイト
先月末の生産指示システム不具合により国内工場の稼働が停止し、お客様および仕入先、関係先の方々にご迷惑をお掛けしましたことを、お詫び申し上げます。 今回のシステム不具合は、部品の発注処理を行う複数のサーバーの一部が利用できなくなったことで発生しました。経緯としては、不具合発生の前日8月27日に定期の保守作業を実施しました。この保守作業では、データベースに溜まったデータの削除と整理を行っておりましたが、作業用のディスク容量が不足していたためエラーが発生し、それによってシステムが停止いたしました。これらのサーバーは、同一のシステムで作動していたため、バックアップ機でも同様の障害が発生し切り替えができず、工場の稼動停止に至りました。その後、8月29日に容量の大きいサーバーにデータを移管したことで、システムが復旧し、工場稼働を再開いたしました。この度、再現検証によって、上記が真因・その対策となること
米Amazon Web Services（米AWS）が提供するクラウドサービス「AWS」の東京リージョンで、2月20日午前0時ごろに障害が発生した。発生から約5時間がたった午前5時9分に同社は、障害の大部分を解消したと発表した。この影響でAWSを利用するオンラインゲームの一部などが利用しづらい状態に。また、気象庁の公式サイトが一時接続できない状態になり、同庁は復旧作業や関連性の調査を急いでいる。 追記 2021年2月20日午後4時 気象庁Webサイトは完全復旧 気象庁は、午前10時50分ごろに公式サイトの全ページが正常に閲覧できるようになったと発表した。原因は「同庁が利用しているクラウドシステムの障害」としており、同庁の担当者はこのクラウドシステムがAWSであることを認めている。 暗号資産取引所を運営するコインチェックは午前11時24分、同社の全てのサービスが通常通り利用できるようになった
この障害は、19日の午後8時55分～20日の午前3時30日に、複数のG SuiteおよびGoogle Cloud Platform製品でエラー、利用不可、配信の遅延が発生したというもの。日本でもGmailにファイルを添付しようとするとエラーが表示されるなどの不具合が数時間にわたって報告された。 問題は、小規模なものも含めると、Gmail、Googleドライブ、Google Docs、New Google Sites、Chat、Meet、Keep、Google Voice、Jamboard、Admin Console、App Engine、Cloud Logging、Cloud Storageなど多岐にわたった。 根本的な原因は、Googleの多様なサービスで使っている、BLOB（Binary Large OBject）と呼ばれる非構造化データに共通の内部分散システムでの過負荷。このBLOB
大阪市で住民票などの証明書発行業務を担う基幹システムが停止。復旧まで21時間を要し、8000件近い証明書発行業務に影響が及んだ。原因はOracle Databaseのクラスタ機能に潜むバグだった。ネットワークの不調をきっかけにシステムが停止し、再起動もできなくなった。米オラクルはバグの存在を把握しながら対外開示をしていなかったとみられる。 2019年6月7日午後0時5分頃。大阪市内の24の区役所や出張所、梅田・難波・天王寺のサービスカウンターで、住民票の写しや記載事項証明書、国民健康保険や税務関連の証明書などが印刷できなくなった。金曜日の昼休みということもあり、週内に書類を発行してもらおうと区役所など窓口に来ていた住民からは悲鳴と怒号が上がった。 同じ頃、大阪市西区の阿波座にある大阪市ICT戦略室も騒然としていた。システム障害を知らせる警報が鳴り、各区役所からトラブル発生を知らせる電話が相
「Fujitsu MICJET コンビニ交付」サービスで発生した印刷障害について2023年3月27日に当社「Fujitsu MICJET コンビニ交付」（以下、当該サービス）にて印刷障害があり、自治体様の証明書交付サービスで申請された方とは異なる住民の方の証明書が発行されるという事象が発生いたしました。 自治体様ならびに証明書交付サービスをご利用の皆様に多大なるご迷惑ご心配をおかけいたしましたことを深くお詫び申し上げます。 既に本事象に関する対処は行っておりますが、今後こうした事象を二度と起こさぬよう、全力を挙げて再発防止に努めてまいります。 なお、当該サービスによる証明書交付の際に印刷障害が発生する可能性のあった自治体様には個別にご報告を行っております。また、3月27日に確認された障害以外に同様の事象は発生しておりません。 1. 発生事象について3月27日（月）、11:40頃、当該サービ
【復旧済】ブックマーク情報の反映が遅延する不具合が発生しています - はてなブックマーク開発ブログ
2023年9月8日（金）18:32 追記 修正が完了し、ブックマークの情報が正常に反映される状態になりました。 一時的な負荷上昇による処理の遅延が発生したことが原因となります。 ご不便をおかけしてしまい申し訳ございません。以後再発防止に努めてまいります。 日頃よりはてなブックマークをご利用いただきありがとうございます。はてなブックマーク開発チーム、ディレクターの id:yone-yamaです。 2023年9月8日（金）の5:13頃より、はてなブックマークにおいて、ブックマーク情報の反映が遅延する不具合が発生しています。 発生している問題 ブックマークを行った際に更新される以下のような情報の反映が遅延しています。 ブックマーク数のカウント コメント一覧ページへのコメント表示 各種検索結果の更新 現在、急ぎ原因の調査と修正を進めております。 修正が完了し次第、この開発ブログでお知らせいたします
2019年10月1日の消費税率変更を受け、一部の小売や外食、交通系のシステムでトラブルが発生しました。ここでは関連する情報をまとめます。 トラブルまとめ 発生組織 トラブルの内容 ミニストップ [PDF] 消費税増税に伴うシステム障害に関するお詫びとお知らせ ・軽減税率対象の商品の内税表示等が誤っていた ・税率10%の商品を8%で販売していた。さらにレシートは内税10%の表示となっていた。 ・値引き商品を1円以上多く受領している可能性がある。 ・10月1日0時過ぎに社員の見回りで発覚し、3時に対応された。 ・全国数百店舗に影響。 ・顧客より多く徴収していた場合レシート提示で返金に応じる。 ・本来徴収すべきだった2%分は本部が負担の方向で検討中。 スシロー 消費税改定に伴うレジシステム不具合復旧のお知らせ ・会計時に外税0%となり消費税が実質0%計算された。 ・ネット決済以外を除き、持ち帰り
米Googleは12月18日（現地時間）、12月14日の約45分間にわたる多数のサービスダウンの原因と今後の対策について、ステータスダッシュボードで説明した。 この障害は、14日の午前3時46分（日本時間では14日の午後8時46分）から47分間続き、Googleのログイン認証サービス「OAuth」を採用するGmailやWorkspaceなどの一連のサービスが影響を受けた。 大まかに要約すると、根本的な原因は、10月にユーザーIDサービスを新しいクォータシステムに登録するための変更を行ったが、その際に古いクォータシステムの一部が残ってしまい、誤った報告があったことという。ユーザーIDサービスの使用量が誤って0と報告されたため、クォータ制限が続いて最終的に期限切れになり、自動クォータシステムがトリガーされてユーザーIDサービスのクォータが減少した。 意図しないクォータ変更を防止するための安全性
Togetter障害、Twitter API不具合で 「朝起きたら、エンタープライズ契約なのにFreeプランになっていた」【復旧】
トゥギャッターは7月21日朝、ツイートまとめサービス「Togetter」へのログインやツイート取得などが利用できなくなったと発表した。同社が提供する「Twilog」「min.t」でも障害が起きている。Twitter APIの不具合が原因という。正午までに復旧した。 @yositosiこと吉田俊明社長は、「朝起きたら、エンタープライズAPIを契約しているはずのTogetterのアプリ設定がFreeプランに格下げされており、TwitterのAPI全てにアクセスできないという不具合が発生していた」とTwitterに投稿。「Twitter側のサポートと調整しつつ、復旧中」という。その後、復旧したことを報告している。 Twitter APIのFreeプラン（無料）は書き込み専用で、ID 1個、月間1500件までの書き込みが可能。エンタープライズ版は大量の書き込みや読み込みに対応しており、専任チームに
｢楽天モバイルのiPhoneで着信ができない｣なぜ楽天モバイルはそれでも販売を続けるのか ｢対処方法｣は案内しているものの…
応答は「電話に出られません」なのに、着信履歴はナシ 毎朝、自宅の固定電話から自分の携帯に電話をかけるのが私のルーティンになっています。今朝は幸いにして着信しました。 11月23日にスマホをMNPで楽天モバイルに乗り換えてからこの作業が続いています。きっかけは楽天のiPhone12proに乗り換えた日の夜、家に帰ると家内がやや不機嫌だったことです。 「なんどもあなたに電話をしたのに“電話に出られません”ばかりだった」 と言います。 仕事柄、私はクライアントとの打ち合わせや会議中は携帯に出ることはしません。でも「いつもは着信を見て必ず折り返してくれるのに、今日はずーっと待っていても返信が来なかった」と不満なのです。 それでスマホを確認したのですが、着信の痕跡がない。そこで家内のスマホから私に電話をかけてもらったところ、家内の電話からは「電話に出られません」の応答が流れ、私のiPhoneには何の
総務省の有識者会議「電気通信事故検証会議」は2022年10月5日、KDDIが7月に起こした大規模通信障害に関する検証報告書を公表した。KDDI自身がこれまで4度にわたって記者会見を開いて説明しているので全体像は把握していたが、さらに深掘りした興味深い内容となっている。 例えば障害の影響が全国に波及した点。同業他社からは「KDDIはなぜ影響を局所化できなかったのだろうか」と疑問の声が上がっていた。原因は、同社が音声通話用の「VoLTE（Voice over LTE）交換機」のネットワークをフルメッシュ構成にしていたためだった。東西でネットワークを分けるのが一般的な印象だが、同社は「特定の拠点で発生する輻輳（ふくそう）を早期に収束させるため」に全国フルメッシュ構成を採用していた。これが裏目に出た。今後は東西分散構成に変更するという。 検証報告書を読むと、厄介な出来事が次々と発生して事態が悪化し
みずほ銀行のシステム障害（今年4回目～6回目）、苦しい言い訳まで持ち出す経営体質の経年劣化が原因か : 市況かぶ全力２階建
株券印刷業大手のアンジェス、創業者の森下竜一さんが「大阪ワクチン・大阪万博・機能性表示食品と金のなる木すべてに群がっている」と国会で槍玉に
富士通Japanは4月16日、住民票のコンビニ交付システムで証明書が誤交付されたと発表した。香川県高松市で申請者とは異なる住民の住民票が発行されたという。同社のコンビニ交付システムでは、2023年にも複数回の誤交付が発生していた。 高松市では1月4日から、富士通Japanのコンビニ交付システム「Fujitsu MICJET コンビニ交付」を導入していた。しかし、コンビニ交付サービスの項目でシステムの設定ミスがあり、4月4日に別人の住民票が誤交付される事象が発生した。 富士通Japanは誤交付の原因について「複数サーバでシステムを構成している高松市向けに、本来はその構成に応じたプログラムを適用すべきところを、誤って単一サーバ構成向けのプログラムを適用していたことによるもの」と説明。16日時点では既に正しいプログラムを適用し、正常に動作することを確認したという。また、同システムを利用する全ての
Togetter - 国内最大級のTwitterまとめメディア
いま話題のツイートまとめが読めるTwitterまとめに特化したまとめサイト。人気のツイートやTwitterトレンド、写真やマンガといった話題の画像から、さまざまなニュースの反応まで、みんなであつめる国内最大級のメディアプラットフォームです。
みずほ銀行は23日、ATMの一部が昼すぎから一時使用できなくなっていたと発表した。ネットワークが不安定になったのが原因とみられる。全国に約5300台あるATMのうち最大130台が一時使えなくなったが、午後1時半ごろまでに復旧した。通帳やキャッシュカードの取り込みはなかった。みずほ銀行で利用者に影響が出るシステム障害が明らかになったのは今年に入って6回目。
大田区は4月17日、2023年10月に発生したシステム障害の検証結果を公開し、システムの運用・保守を担っていたNECに対し損害賠償金486万8437円を請求すると発表した。障害の原因はNECによる情報共有の不足と結論付けている。同社も結果や損害賠償に同意しているという。 障害が発生したのは、23年10月9日から10日未明にかけて。システムを構成していたSSD3台がほぼ同時に故障し、データが全損して使用できない状態になった。これにより、大田区の住民記録システムや国保年金システム、税務システムなどが影響を受け、18日の完全復旧まで、区の業務に支障をきたした。 大田区は障害の原因について、SSD3台の同時故障を想定していないシステム構成にあったと説明。「システム基盤は19年に構築し、構築当時からSSDの故障について2本までは耐えうる構成をとっていたが、今回はその想定を大幅に上回る障害が発生したた
楽天ペイ 再び利用できず | NHKニュース
スマートフォン決済の楽天ペイが、25日午前中から利用できなくなっています。楽天ペイは23日も一時、利用ができなくなっていて、会社は原因を調べるとともに復旧を急いでいます。 楽天ペイは23日、九州電力の子会社で福岡市にある通信会社「ＱＴｎｅｔ」のデータセンター設備の不具合によって一時、利用ができなくなったばかりです。 楽天によりますと、25日は午前０時から午前６時までの予定で利用を停止してメンテナンスの作業をしていたということで、会社は原因を調べるとともに復旧を急いでいます。 楽天ペイは、事業者の参入が相次ぐスマホ決済サービスの中で大手の一角で、利用を伸ばしています。 楽天ペイのスマホのアプリには25日正午時点で「ただいま緊急メンテナンス中のためサービスを停止しております。ご不便をおかけいたしますが、今しばらくお待ちください」と表示されています。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
障害対応プロセスを改善してきた話 - 10X Product Blog
台風迫るさなか 自治体ＨＰ “見られない” | NHKニュース
1138. JR東日本 蕨交流変電所 火災 号外
他人の住民票が誤発行される謎バグの真相、富士通Japanの「稚拙」設計に専門家も驚く
システム障害対応演習を実施した話｜NAVITIME_Tech
サードパーティ製「Twitter」アプリが利用できなくなるトラブルが発生中【14時10分追記】／有志が利用可否をまとめた「Google スプレッドシート」を公開中
【特集】 ネットの大規模障害が起きた「CDN」って何？実際にアクセスして確かめてみた
NTT東西の「フレッツ光」大規模障害、原因は特定のサーバから届いた“特殊なパケット”だった
当社「コンビニ交付」システムに対するデジタル庁様からのご要請について
「S/4HANA」への切り替えでトラブルの江崎グリコ、1カ月経過も商品の出荷停止続く
8/23東京リージョン障害中の当ブログ稼働を紹介します | DevelopersIO
【いでよ障害対応太郎】我々はインシデントにどう向き合っているのか 〜社内向け障害対応リスト付き〜
みずほ銀行のシステム障害が復旧 午後5時から記者会見 - 日本経済新聞
レンタルサーバー運営会社に不正利用を通報したときの窓口と、各社の対応をまとめた。 - Qiita
JTBなど400社が使うTISのリモートアクセスサービスが全面停止、復旧は6月以降
マイクロソフト「チームズ(Teams)」障害 アクセスできないなど | NHK
AWS障害、5時間でほぼ復旧 気象庁Webサイトなどに影響【各サービス復旧状況を追記】
「KB5012170」に再び問題、「BitLocker」の回復キーを入力しなければならなくなる／「Windows 11バージョン 21H2」で発生、最悪の場合データを失う
Googleサービスでの8月20日の大規模障害について、Googleが原因と対策を説明
Oracle DBの「非公開バグ」が表面化、大阪市基幹システム障害の真相
「Fujitsu MICJET コンビニ交付」サービスで発生した印刷障害について
増税に伴うシステムトラブルをまとめてみた - piyolog
Google、12月14日の約45分間ダウンの原因と対策を詳解
KDDI通信障害の報告書で見えた地獄絵図、痛恨のミスから次々と事態が悪化
富士通Japan、“コンビニ交付”でまたまた誤交付 同社は謝罪 「全力を挙げて再発防止」
みずほ銀行、ATM130台一時使えず 今年6回目の障害 - 日本経済新聞
https://twitter.com/gobaSec/status/1477284596551421953
大田区、NECに賠償金480万円を請求 10月のシステム障害巡り SSD3台の同時故障想定できず