すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
ルーター不具合による韓国行政ネットワークの大規模なシステム障害についてまとめてみた - piyolog
2023年11月17日、韓国の地方行政システムで3日にわたる大規模なシステム障害が発生し、韓国内の多くの行政機関の業務に支障が生じ、手続きが行えないなど市民の生活にも大きな影響が及びました。その後の調査を経て、韓国政府はネットワーク機器の異常によるものだったと原因について明らかにしています。ここでは関連する情報をまとめます。 56時間にわたり行政ネットワーク使えず システム障害は認証基盤である行政電子署名証明書（GPKI）システムで発生。韓国では公務員はシステム接続を行う際にGPKIシステムで認証を行っているため、全国の自治体で業務システムを利用できない事態となった。GPKIシステムと接続していた、閉域ネットワーク運用されている韓国内のすべての自治体が利用する「市道セオル行政システム」や行政プラットフォームの「政府24（정부24）」が利用できなくなった。 GPKIシステムは物理サーバー15
「説明を聞けば聞くほど不穏な空気が漂ってきたよ」全銀ネットの障害、原因説明の会見で謎がさらに深まった模様
J @j17sf 概要については主に先週の記事で紹介したので、QAになるまではメインのツリー伸ばしません。興味ある方は記事を参照ください watch.impress.co.jp/docs/series/su… 2023-10-18 16:13:29 リンク Impress Watch 全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】 10月10日から全国銀行資金決済ネットワーク(全銀ネット)が運用する「全国銀行データ通信システム(全銀システム)」で発生していたシステム障害は、12日朝8時半の営業開始時間(コアタイム)をもって解消された。一部、10日と11日に行なわれた“仕向”の取引データに未処理のものが残っていたが、12日午前10時50分をもって全件処理が完了しており、通常状態へと戻っている。 65 users 114
全銀システム障害で新事実、本番稼働前から参照テーブルが破損
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月18日に記者会見を開き、「全国銀行データ通信システム（全銀システム）」で発生した障害に関する原因調査の状況などを説明した。コアタイムシステムの中継コンピューター（RC）が保有するテーブルが破損しており、「内国為替制度運営費（旧銀行間手数料）」の入力・チェックをする際にエラーが発生していたことを明かした。一方でテーブルが破損した原因については調査中とした。 「今回の問題は当法人だけでなく、我が国の決済システム全体を揺るがす大きな問題と認識している」 全銀ネットの辻松雄理事長は記者会見の冒頭、このように述べて陳謝した。全銀システムは10月10日朝に障害が発生。三菱UFJ銀行やりそな銀行など10金融機関で他行宛ての振り込みに関するオンライン処理などが2日間にわたってストップし、仕向けと被仕向けを合わせて506万件の振込処理に影響が出た。
全銀ネット障害、いまだ根本原因特定できず メモリ不足の指摘には「分からない」
全国銀行協会（以下、全銀）は10月18日、銀行間の送金を行う「全国銀行データ通信システム」（全銀ネット）で10日から11日にかけて発生した障害について会見を行い、現状を説明した。未だに根本的な原因は特定できず、暫定的な“代替対応”のまま運用しているという。 不具合はシステムのリプレース直後に発生した。全銀は7～9日の3連休を利用し、加盟14銀行の中継コンピュータを「23シリーズ」と呼ぶ新機種に更新した。それまでの「17シリーズ」は各機関に設置していたが、今回は全銀センターに集約して運用する形にした。 9日までに製品単体試験から相互運転試験までいくつもの試験を行っていたが、不具合は見られなかったという。 しかし10日午前8時30分。システムが通信を始めると、10行の中継コンピュータで電文の送受信ができなくなった。りそな銀行や三菱UFJ銀行などで他行宛の振込取引ができない状態になった。 バック
福祉課に駆け込んできた
兄が反社会性パーソナリティ障害だとおもうんだけど、警察のお世話になるレベルではなく、家庭内暴力を繰り返し、金銭を要求してくるレベル。ADHD傾向があって、衝動的でキレやすい。計画性のある行動ができない。いわゆるグレーゾーン。 母がもう歳なので、この暴れん坊を世話することも限界がきている。 自分が引き継ぐなんてまっぴらごめんなので、地域の福祉課に電話して助けを求めた。 話を聞いてくれるということで、直接話してきたんだけど、結果からいえば、何も解決できなかった。 担当者は、ちゃんと心理カウンセリングの勉強をしているとすぐにわかった。否定もせず肯定もせず、熱心に聞いているようで、共感は示さない。 自分も、兄の様子は子供の頃からおかしいと思ってたので、精神医学に関することは軽く調べているので、兄がなんらかの発達障害、パーソナリティ障害の傾向があるということは確信している。反社会的な行動に関しての良
手順書の記載ミスで発生したJR東日本のシステム障害についてまとめてみた - piyolog
2023年6月26日、JR東日本は6月24日に発生したシステム障害の原因が電源工事の操作手順に誤りだったと公表しました。システム障害の影響により、Webページの閲覧不可やモバイルSuicaのアプリが利用できないなどが生じました。ここでは関連する情報をまとめます。 4つのシステムに最大半日の影響 システム障害は2023年6月24日0時37分頃発生。電源供給断により各システムのサーバーが停止しシステムの異常を知らせるアラートが相次ぎ発報。*1 夜間処理中に強制的な停止が生じたことで、ハード故障、データ不整合が発生。JR東日本は次の4つのシステムに電源断の影響が及んだとしている。 影響を受けたシステム 障害発生時間 障害発生による具体的な影響 JR東日本Webシステム 2023年6月24日0時37分～6時33分 Webサイトの閲覧不可 ビューカードシステム 2023年6月24日0時37分～9時2
富士通Japan、コンビニ交付でまた不具合 抹消したはずの印鑑登録証明書を誤発行
新潟市は5月15日、マイナンバーカードを利用した証明書のコンビニ交付サービスで不具合が起きたと発表した。抹消済みの印鑑登録証明書を誤交付する不具合が発生し、市は交付サービスの提供を一時全面停止にした。システムの提供事業者は富士通Japan。 12日昼ごろ、住民から「既に廃印処理済である印鑑登録証明書を誤交付された」の指摘を受け、不具合が発覚。市はコンビニ交付システムの提供を全面停止した。その後、原因を特定したところ、他の証明書では不具合が発生しないと判明。同日中に該当する証明以外の交付を再開、16日には印鑑登録証明書の交付も再び始めた。 この件について、富士通Japanが追跡調査を行ったところ、新潟市の他住民で同じ現象が2件起きていることを確認。また、他自治体での影響を調べたところ、一部の政令指定都市でも同様の事象が発生する可能性があると明らかに。該当の自治体にはそれぞれ連絡したという。
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演
複雑なシステムでは、すべての要素が正しくても障害が起きる。カオスエンジニアリングから継続的検証へ（前編）。JaSST'23 Tokyo基調講演 Netflixが始めた「カオスエンジニアリング」は、現在では大規模なシステムにおける可用性向上の手法のひとつとして確立し、広く知られるようになりました。 そのカオスエンジニアリングという手法を定義したのが、元Netflixカオスエンジニアリングチームのエンジニアリングマネージャーを務めていたCasey Rosenthal（ケイシー ローゼンタール）氏です。 そのローゼンタール氏が、ソフトウェアのテストに関わる国内最大のイベント「ソフトウェアテストシンポジウム 2023 東京」（JaSST'23 Tokyo）の基調講演に登壇し、「Chaos Engineering to Continuous Verification」（カオスエンジニアリングから継続
NTT東西の「フレッツ光」大規模障害、原因は特定のサーバから届いた“特殊なパケット”だった
4月3日の午前中に発生した「フレッツ光」と「ひかり電話」の障害ではNTT東日本、NTT西日本を合わせて最大約44万6000件に影響が出た。原因は新しい加入者装置に特殊なパケットが届いたこと。ただし「アタックである可能性は限りなく低い」としている。 障害が発生したのは午前7時10分ごろ。複数のNTT局舎内にある加入者収容装置が特殊なパケットを受信後にリブートした。フェイルオーバー機能が働き、自動的に別の装置に切り替わったものの、そちらも同じ障害が発生した。 NTT東では49拠点89台、NTT西は21拠点27台の加入者収容装置で同時に障害が発生し、ネット接続サービスの「フレッツ光」と光回線を使う電話サービス「ひかり電話」が一時つながりにくい状態になった。ひかり電話は緊急通報にも支障をきたし、消防庁が公式Twitterアカウントで「携帯電話や公衆電話の利用、消防への直接駆け込み」を促すツイートを
「Herokuの対応は遺憾」 Skeb障害、機会損失は1500万円相当 クラウド丸ごと乗り換え約18時間で解決
「Herokuの対応は遺憾」 Skeb障害、機会損失は1500万円相当 クラウド丸ごと乗り換え約18時間で解決 クリエイターに有償でイラストなどを発注できるサービス「Skeb」で12月23日から24日にかけて発生した障害について、運営元のスケブ（東京都千代田区）は24日、損失の詳細を公開した。 「Skebでは月間約5億円の取引があるが、今回の障害で1500万円相当の取引の機会損失が発生した。しかし、12月26日午前8時現在もHerokuから詳しい状況説明はなく、詳細な経緯は判明していない。厚いサポートをうたうエンタープライズ契約を締結しているにもかかわらず、このような対応は大変遺憾」（同社） 障害は23日午後12時22分から24日午前7時にかけて発生。期間中、ログインなどがしにくい状態だった。原因はサービスの提供に使っていたクラウドサービス「Heroku」のアカウントに起きた問題。「Ske
立川市役所の庁内LAN障害、原因は「Edgeブラウザーへの移行」
2022年6月27日、東京・立川市役所で大規模な通信障害が発生した。出先機関を含めた1000台以上のパソコンで終日、窓口作業ができなくなった。庁内LANの心臓部となるコアスイッチの障害が原因だった。コアスイッチに向けて大量の通信が発生し、メモリー不足に陥った。原因特定に時間がかかり、完全復旧に1週間を要した。 グループウエアの挙動がどうもおかしい――。東京都立川市役所の本庁舎内がざわつき始めたのは2022年6月27日、始業時刻である午前8時半ごろのことだ。ほどなく市役所のITインフラストラクチャー運営を担う総合政策部情報推進課のもとに、「窓口業務用の情報システムにアクセスしづらい」「内線電話が通じなくなった」といった職員らの困惑した声が続々と寄せられるようになった。 情報推進課はただちに障害箇所の特定に乗り出した。庁内ネットワークのメンテナンスを委託している保守事業者と連絡を取り合い、担当
サーバダウンしたニコニコ漫画に何が起きていたのか - BOOK☆WALKER inside
こんにちは。メディアサービス開発部Webアプリケーション開発課の奥川です。ニコニコ漫画のバックエンド開発を担当しています。 2021年初頭、ニコニコ漫画である作品の連載が開始されました。それに端を発する数カ月間のサーバ障害により、ユーザーの皆様には大変ご迷惑をおかけしました。 少し前の話にはなりますが、当時ニコニコ漫画のサーバでは何が起こっていたのか、どのような対応を行ったのかを振り返ってみたいと思います。 1号棟（事の起こり） 2021/01/08 問題の作品（以後、「作品I」*1と記述します）の第1話が投稿されます。その過激な内容からSNSなどでは一部で話題になりましたが、まだニコニコ漫画へのアクセスも穏やかなものでした。 2021/01/22 その2週間後、「第2話（前編）」の公開から事件が起こります。 ピークタイム最中の12:22頃から、まずmemcachedがCPU Utiliz
NTT西日本の大規模通信障害、光伝送装置のソフト不具合で設定が工場出荷状態に
NTT西日本は2022年8月25日、大規模な通信障害を引き起こした。30府県の最大211万回線でインターネット接続に支障を来した。発端は保守ネットワークにおける装置の収容数が推奨値を超えたことだった。1台の光伝送装置で動作が不安定となり、内部データベースの同期に失敗。ソフトウエアの不具合で装置が初期化され、顧客の通信にまで影響が及んだ。 「本当にご迷惑をおかけして、申し訳ございませんでした」。2022年9月30日、NTT西日本の森林正彰社長は8月25日に引き起こした通信障害に関して総務省から行政指導の文書を受け取り、記者団を前にこう陳謝した。 8月25日の通信障害は、NTT西日本の幅広い顧客に影響を与えた。「フレッツ光ネクスト」などの利用者が最大6時間近くにわたってインターネットに接続しづらくなった。同社は最大211万回線が影響を受けたと推計する。兵庫県や京都府など12府県の最大63万回線
道路工事中に光ケーブル切断 市役所などで通信障害 広島県
広島県府中市で9月22日昼、県が発注した国道の補修工事中に、地中の光ケーブルを誤って切断し、通信障害が発生した。障害は、電話回線80回線とフレッツ光90回線、専用回線5回線に影響。NTT西日本が復旧作業を行い、23日朝に復旧した。 工事中、道路の舗装版をカッターで切断していた際に、ケーブルも切ってしまったという。工事前の埋設物の確認不足が原因としている。通信障害は、工事現場近くの府中市役所にも影響した。 22日12時ごろ、NTTから電波障害の報告を受け、調査したところ、光ケーブル線2本とメタル線1本が切れていることが分かった。NTTが復旧作業を行い、23日午前4時45分に作業を完了させた。 関連記事 1週間にわたり通信障害 マンション入居者用無料Wi-Fi事業者にサイバー攻撃 ファイバーゲートが提供するマンション入居者用無料Wi-Fiサービスで1週間にわたり通信障害が続いている。サイバー攻
KDDIの通信障害なぜ長期化した？ 過去の障害で得た知見も通用せず
KDDIが7月4日20時に、2日から発生している通信障害についての説明会を開催。取締役執行役員専務 技術統括本部長の吉村和幸氏と、執行役員 技術統括本部 副統括本部長 兼 エンジニアリング推進本部長の山本和弘氏が、4日20時時点における障害の状況と復旧の見通しを説明した。 通信障害の発端と7月2日～3日の対処内容 まずは通信障害の経緯を整理したい。7月2日1時35分ごろから、サーバのメンテナンス中にVoLTEの交換機にアラームが発生し、一部の音声トラフィックが不通になっていることが判明したため、通信経路を作業前の状態に戻す「切り戻し」作業を実施した。その際、スマートフォンなどの端末から通信が集中してVoLTE交換機で輻輳（ふくそう）が起きた。加入者データベースにもアクセスが集中したことで、全国的な障害へとつながった。 KDDIが2日の3時から15時22分まで、VoLTE交換機の負荷低減の作
KDDI高橋社長が通信障害を陳謝、原因はコアルーター交換時の不具合とアクセス集中
今回の通信障害では、音声電話やSMSが一時つながらなくなったほか、データ通信がつながりにくかったり途切れたりといった状態になった。影響を受けた回線数は7月3日午前11時時点の概算で最大約3915万回線。内訳はスマートフォン・携帯電話が同約3580万回線、MVNO（仮想移動体通信事業者）向け回線が同約140万回線、IoT（インターネット・オブ・シングズ）回線が同約150万回線、「ホームプラス電話」回線が同約45万回線。 通信障害のきっかけとなったのは、メンテナンスの一環としてモバイルコア網と全国各地の中継網をつなぐコアルーターのうち、1拠点で旧製品から新製品へ交換する作業。これに伴い通信トラフィックのルート変更を実施している際に「VoLTE交換機でアラームが発生した」（高橋社長）。確認したところ「ルーターのところで何らかの不具合が起き、一部の音声トラフィックが不通になったことが判明した」（同
KDDIの通話・通信障害メモ - show log @yuyarin
この記事は7/3午前中に記載したもので、まだKDDI社長の会見内容を反映していません。 今回のKDDIの障害が具体的にどういうサービスに影響が出るのものか、モバイルネットワーク初心者としてLTE/EPC/IMS周りの挙動の勉強のためにまとめてみた。 はじめにまとめ モバイルの通信には音声通話とデータ通信があり、今回主に長時間の障害を受けたのは音声通話(IMS)の方だった。 7/2(土)の日中帯はデータ通信はできるが音声通話やそれに付属するサービスが利用できない状態が継続していた。データ通信も不安定な状態になっていた。 端末の実装(主にAndroid端末)によっては音声通話ができないとデータ通信も止めてしまう挙動があった。これによりLTEを回線として使用しAndroidベースで構築された決済システムなどが利用不可能な状態が継続した。 音声通話(IMS)が利用できないと、通常の電話はもちろん、
Cloudflare outage on June 21, 2022
This post is also available in Deutsch, Français, 简体中文, 繁體中文, 日本語, 한국어, Español and ไทย. IntroductionToday, June 21, 2022, Cloudflare suffered an outage that affected traffic in 19 of our data centers. Unfortunately, these 19 locations handle a significant proportion of our global traffic. This outage was caused by a change that was part of a long-running project to increase resilience in our busi
売春防止法の「負のシンボル」婦人補導院 なぜこれまで廃止できなかったのか…：東京新聞 TOKYO Web
新しい女性支援法案の国会提出に向けて、各党の議論が大詰めを迎えている。法案の注目の一つが、売春防止法の「負のシンボル」とされてきた「婦人補導院」の廃止だ。婦人補導院は、売春で有罪となった女性が閉ざされた空間で生活指導を受ける場。近年は実態と合わなくなり施設はほとんど使われず、数十年にわたり廃止論がくすぶっていた。だが、なぜこれほどまでに廃止に年月がかかったのか。理由を探って見えてきたのは、この国によどむ「女性のあり方」そのものだった。（特別報道部・木原育子）
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
