すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 全国銀行資金決済ネットワーク（以下、全銀ネット）とNTTデータは12月1日、2023年10月10日～11日にかけて全国銀行データ通信システム（以下、全銀システム）で発生した通信障害に関する報道関係者向けの説明会を開催しました。本件についてはNTTデータが11月6日に行った途中経過報告の内容をもとにレポートしましたが、今回、全銀ネットとNTTデータが揃って会見を行ったことで、より詳細な障害の原因が判明したので、あらためてその内容を検証してみたいと思います。 説明会の登壇者。左から、全銀ネット 企画部長 千葉雄一氏、事務局長兼業務部長 小林健一氏、理事長 辻松雄氏、NTTデータ 代表取締役社長佐々木 裕氏、取締役副社長執行役員 鈴木正範氏 なお、全銀ネットとNTTデータは、今回の障害に関して金融
2021年10月25日、この日は僕がただの大学生から、大学のサーバーをダウンさせた"犯人"へと変わった日です。 小説みたいな書き出しをしてみましたが、これは嘘みたいな本当の話で、ふと思い出して懐かしくなったので回想録として note に残すことにしました。 出来事の概要2年前の2021年10月、何が起きたかを簡単に書くと以下の通りです。 ・大学の授業や課題を管理するためのシステムを拡張するツールを作った ・ツールが予想以上の人数に使われ、結果として大学のサーバーに負荷がかかりサーバーが落ちる事態になった ・大学から呼び出しを受けることになった 時系列を追って、この note で出来事の全容を書きたいと思います。 使いづらい LMSまず前提として、私の大学では毎日の授業や課題は授業支援システム、通称 LMS と呼ばれるオンラインのシステムで管理されています。 実際のLMSの画面しかし、この
江崎グリコの公式サイトより ほぼすべてのチルド食品（冷蔵食品）が、社内のシステム更新作業に伴う障害により出荷停止となっている江崎グリコ。4月初めに障害が発生し、出荷再開時期がいまだに未定という異例の事態を受け、同社は今月8日、システム障害によって2024年12月期の営業利益が60億円、売上高が200億円下押しされる見通しだと発表した。業績に多大な悪影響が生じるため、グリコがシステム更新プロジェクトの主幹ベンダであるデロイト トーマツ コンサルティングに損害賠償を求めて法的手段を取る可能性も取り沙汰されている。今後の展開について業界関係者や専門家の見解を交えて追ってみたい。 グリコは業務システムについて、独SAPのクラウド型ERP「SAP S／4HANA」を使って構築した新システムへ切り替えるプロジェクトを推進してきた。旧システムからの切替を行っていた4月3日、障害が発生し、一部業務が停止。
コンサル大解剖 「勝ち組」としてバブルを謳歌するコンサルティング業界。市場の急膨張を背景に、業界の序列を巡って多種多様なプレイヤーがバトルを繰り広げている。アクセンチュアやBIG4、戦略系ファーム、国内コンサル、ITベンダーから総合商社に広告代理店……。各社の成長戦略や人材戦略に加え、コンサルを活用する事業会社側の思惑まで、大乱戦期を迎えたコンサルビジネスの最前線を追う。 バックナンバー一覧 食品大手、江崎グリコで起きた大規模システム障害で、原因となったシステム刷新のプロジェクトを手掛けた主幹ベンダーがデロイト トーマツ コンサルティングであることが分かった。復旧には時間がかかる見通しで、主力商品の「プッチンプリン」などが出荷できず、小売店の棚から消えている。長期連載『コンサル大解剖』内で配信している特集『デロイト内部崩壊』の第10回では、プロジェクトの詳細や大幅遅延など混乱の様子に加え、
2023年10月10日、全国銀行資金決済ネットワークは、同社が運用している全国銀行データ通信システムでシステム障害が発生したことを公表しました。この障害の影響により一部の金融機関で送金遅延などが生じました。ここでは関連する情報をまとめます。 560万件の取引に影響 障害が起きたのは全国銀行資金決済ネットワーク（全銀ネット）が運用する全国銀行データ通信システム（全銀システム）のうち、平日8時半から15時半まで稼働するコアタイムシステムで金融機関との接続に使用される中継コンピューター（RC）。障害は10月10日8時半に発生し、10月12日未明に復旧に向けた対応が完了、同日8時半の切替完了したことで復旧した。*1 全銀システムは1,000超の金融機関が参加しており、1営業日当たりの取引件数は2022年実績で約806万件、約14兆円。*2 今回のシステム障害により金融機関間で行われる送金に遅延や取
高校入試の出願システム、Gmailにメール届かず……神奈川県、受験生に「@gmail.com以外のアドレス使って」
神奈川県教育委員会が2024年1月4日にリリースした、公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生が出願用アカウントを作成できない問題が起きている。 15日夜時点でも解消しておらず、県教委は受験生に対して、「@gmail.com以外のメールアドレスで登録してほしい」と呼び掛けている。 このシステムは、公立高校の2月入試に出願する受験生などが利用する。中学校で受け取った書類に書かれたURLから出願サイトにアクセスし、メールアドレスなどを登録して「志願者アカウント」を作成すると、出願サイトへのログインに必要な「登録番号」がメールで届く、という流れだ。 だが、登録したメールアドレスが「@gmail.com」の場合、登録番号入りのメールが届かない不具合が起きているという。 新システムによる出願は1月4日に受付スタート。
2024年4月5日、江崎グリコは基幹システムの切り替え後にシステム障害が発生し、同社や販売委託を受けている一部の冷蔵食品の出荷に影響が生じていると公表しました。ここでは関連する情報をまとめます。 障害後緊急対応するも在庫数合わず業務停止 今回システム障害が起きたのは江崎グリコの基幹システムで2024年4月3日の新システムへの移行に伴い発生した。物流、販売、会計などを一元管理するERPパッケージ SAP社製「SAP S/4HANA」で構築されており、「顧客への継続的価値創出を可能にするバリューチェーン構築と経営の迅速な意思決定を目的とした、調達・生産・物流・ファイナンスなどの情報を統合する基幹システム」と同社では説明している。障害原因の詳細は同社から開示されてはいないが、システム障害の問題個所の特定は済んでいる。なおサイバー攻撃によるものではないと取材に答えている。*1 システム障害の影響に
この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の4日目です。年末進行、いかがお過ごしでしょうか？みなさま無事に仕事が納まることを願っております… 新人インフラエンジニアが、本番ウェブサーバー60台のホスト名を全部 cat にしてしまった話について、ここに供養させていただきたいと思います 背景 おそらく今から7年くらい前、インフラエンジニアとして転職してきて1年ほどが経ち、本番環境での作業もこなれてきたなというバッチリのタイミングで事を起こしてしまいました。サーバーは CentOS 6 だったと思います。 職場としてはまだまだベンチャー感にあふれ大きな裁量が与えられスピード感のある環境ながら、サービスの登録ユーザー数は1,000万を超え、本番環境の規模としては既になかなかの大きさがあり、ウェブサーバーだけでも60台くらいあったと思います。ひと山につき
全国銀行資金決済ネットワーク（全銀ネット）とNTTデータは12月1日、10月10日〜11日に発生した全銀システムの大規模障害の真の原因を明らかにした。 全銀システムは、日常の振込や送金をリアルタイムで処理するシステムで、国内のほぼすべての預金取扱金融機関が利用している。10月のシステム障害では三菱UFJ銀行、りそな銀行など10行で、他行宛の振り込みができないなどの障害が丸2日間継続した。 障害は、全銀システムの中継コンピューターを新機種「RC23シリーズ」へ交換し、その後営業運用を開始した直後に発生した。RC23シリーズ内の「銀行間手数料を処理するためのインデックステーブル」が破損しており、同テーブルを参照する際の処理でエラーが生じたためだ。 中継コンピューターは東京と大阪に1台ずつ、冗長化として設置されていたが、2台同時に新機種のRC23シリーズに切り替えたため、2台ともにソフトウェア障
バグは“数千パターンのテスト”をすり抜けた ―NTTデータ「2023/10/10 全銀ネット障害」について説明 NTTデータグループは2023年11月6日、10月10日に発生した全国銀行データ通信システムの障害に関する記者説明会を実施、現時点で判明している障害の概要について説明を行うとともに、再発防止策に向けたタスクフォースの設立などについて明らかにしました。会見の冒頭、NTTデータグループ 代表取締役社長 本間洋氏は、今回の障害により全国の預金者や金融機関をはじめとする社会全体に大きな混乱をもたらしたことを謝罪し、今後の原因究明と再発防止に向け、全国銀行試験決済ネットワーク（以下、全銀ネット）とともに全力をかけて取り組むことを明言していました。 本記事では会見の内容をもとに、現時点で判明している10月10日の事故の原因についてレポートします。 2023年10月10日 ―なにが起こったのか
三菱UFJ銀行など10金融機関で約250万件の送金が滞った全国銀行データ通信システム（全銀システム）の障害は、各金融機関と同システムをつなぐ機器の容量（メモリー）不足が要因だったことがわかった。機器の更新で処理量が増え、想定の容量を超えてパンクした。事前のテストが不十分だった可能性もあり、検証が求められる。 全銀システムを構築するNTTデータなどは16日までに中継コンピューターのメモリー不足が
富士通JapanのMICJETで相次ぎ発生した証明書誤交付についてまとめてみた - piyolog
2023年3月以降、富士通Japanが提供する地方公共団体向けの住民情報ソリューションである「MICJET」(ミックジェット)において、プログラム不具合に起因するシステム障害によりコンビニ交付サービスで他人の証明書が出力されるなどの誤交付が相次ぎ発生しています。ここでは関連する情報をまとめます。 証明書の誤交付が発生した地方公共団体 富士通Japanが提供する住民情報ソリューション「MICJET」に関連した誤交付が生じたのはこれまでに8つの地方公共団体。MICJETのコンビニ交付サービスにおいて住民票の写し、印鑑登録証明書などで誤交付が発生した。MICJETを導入している地方公共団体は全国で123。*1 誤交付を行った地方公共団体 誤交付された対象 誤交付を行っていた時期 横浜市 他人の住民票（個人番号あり）の写し1件(1名) 他人の住民票（個人番号無し）の写し5件(11名) 住民票記載事
富士通Japan製コンビニ交付システムを巡る誤発行トラブルが後を絶たない。2023年3月に横浜市で他人の住民票が誤発行されるトラブルが発生したのを皮切りに、東京都足立区や川崎市、徳島市、新潟市、さいたま市、熊本市などでも同様のトラブルが続々と明らかになっていく――。 事態を重く見たデジタル庁は同年5月8日、コンビニ交付システムを一時停止した上で不具合を検査する「総点検」を富士通Japanに要請。同社は要請に応える形で、6月17日までに全国の自治体123団体の点検を完了させた。ただ点検完了後まもない同月28日には新たに福岡県宗像市で住民票の誤交付トラブルが発生しており、事態が収束したとは言い難い。 自治体側の責任は？ 不具合が相次いでいることからも、富士通Japan製システムに設計上の問題があるのは明らかである。一部の専門家からはその設計について「稚拙」という指摘も出ている。 ただ、富士通J
Gmailで問題が生じる神奈川県立高校ネット出願システムの被疑箇所を調査、改善策を検討してみた | DevelopersIO
神奈川県高校入試のネット出願システムの不具合影響を受けた利用者として、Gmailを扱えないメール環境について外部から調査しました。 出願システムで独自実装されたメールシステムの不完全な実装と、メール関連のDNSの設定不備が原因であった可能性が高いと推測します。 2024年の神奈川県立高校入試出願システムの不具合の影響を受け、@gmail.comのメールアドレス を利用出来なかった一利用者として、 インターネットから参照可能な範囲で、出願システムのメール環境について調査。 被疑箇所の推定と、状況を改善する対策について検討する機会がありましたので、紹介させて頂きます。 神奈川県公立高等学校入学者選抜インターネット出願システムの稼動状況について MX設定 「mail.shutsugankanagawa.jp」のMXレコードを確認しました。 1/18(21時) $ dig mx mail.shut
全国銀行協会（以下、全銀）は10月18日、銀行間の送金を行う「全国銀行データ通信システム」（全銀ネット）で10日から11日にかけて発生した障害について会見を行い、現状を説明した。未だに根本的な原因は特定できず、暫定的な“代替対応”のまま運用しているという。 不具合はシステムのリプレース直後に発生した。全銀は7～9日の3連休を利用し、加盟14銀行の中継コンピュータを「23シリーズ」と呼ぶ新機種に更新した。それまでの「17シリーズ」は各機関に設置していたが、今回は全銀センターに集約して運用する形にした。 9日までに製品単体試験から相互運転試験までいくつもの試験を行っていたが、不具合は見られなかったという。 しかし10日午前8時30分。システムが通信を始めると、10行の中継コンピュータで電文の送受信ができなくなった。りそな銀行や三菱UFJ銀行などで他行宛の振込取引ができない状態になった。 バック
私個人の障害対応の経験と 一昨日参加したIncident Response Meetup vol.1での学びから 障害対応において大切だと感じていることをまとめる。 障害とは リリース後のシステムにおいてシステムの不具合やユーザーの操作ミスによってユーザー業務に影響が出ているもしくは出る恐れがあるもの。 障害対応の目的 システムを直すことではなく、ユーザー影響の回避・低減・早期回復をすること。 障害対応に対する心構え システムの信頼性の要である 障害への対応の仕方でユーザー影響が大きく変わる いつ発生するかわからないため特定の人が常に障害対応をするということは不可能である 素早く適切に行動するための備えが重要である 役割分担 障害対応では復旧対応、原因調査、ユーザーへの説明、社内調整などたくさんのことをやる必要がある。 またそれぞれの作業の難易度が高いことも多い。 一人の人間にできることは
銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で2023年10月10～11日に発生した障害の原因が10月16日、分かった。全銀システムと各金融機関のシステムをつなぐ中継コンピューター（RC）において、メモリー不足に起因し、金融機関名などを格納したインデックステーブルに不正な値が紛れ込んだ。 インデックステーブルはRCのディスク上にあるファイルから展開する。このファイルを作成するプログラムを実行したタイミングで、一時的に確保するメモリー領域が不足し、ファイルの内容が不正確になったという。 全銀システムの障害を巡っては、三菱UFJ銀行やりそな銀行などで他行宛ての振り込みに遅れが生じた。全銀システムを運営する全国銀行資金決済ネットワーク（全銀ネット）によると、概算値ながら10月10～11日の2日間で仕向けと被仕向けを合わせて500万件超の送金に影響が出たとしている。
Google Cloudが、顧客のアカウントを誤って削除し、大規模障害の引き金になる──こんな出来事が海外で起きた。オーストラリアで年金基金を運営するUniSuperは5月8日（現地時間）、自社サービスで起きていた障害について、プライベートクラウドのアカウントが誤って削除されたことが原因だったと発表した。 UniSuperはGoogle Cloudを活用していたが、米Google自身が誤ってアカウントを削除。UniSuperは冗長性を確保するため、別のリージョンにもデータを置いていたが、そちらも無効にされていたという。 アカウントが削除された経緯については「（Google Cloudが）UniSuperのプライベート・クラウド・サービスをプロビジョニングする際の不用意な構成ミスにより生じた」（UniSuper）と説明している。しかし、UniSuperは他社のサービスでもバックアップを確保し
J @j17sf 概要については主に先週の記事で紹介したので、QAになるまではメインのツリー伸ばしません。興味ある方は記事を参照ください watch.impress.co.jp/docs/series/su… 2023-10-18 16:13:29 リンク Impress Watch 全銀システム障害と、同システムが目指す将来像【鈴木淳也のPay Attention】 10月10日から全国銀行資金決済ネットワーク(全銀ネット)が運用する「全国銀行データ通信システム(全銀システム)」で発生していたシステム障害は、12日朝8時半の営業開始時間(コアタイム)をもって解消された。一部、10日と11日に行なわれた“仕向”の取引データに未処理のものが残っていたが、12日午前10時50分をもって全件処理が完了しており、通常状態へと戻っている。 65 users 114
クレジットカード決済トラブル解消 原因調査 | NHK
11日午後、全国のスーパーやJRの駅などでクレジットカードの決済ができないトラブルが起きましたが、クレジットカードの決済システムを運営している「日本カードネットワーク」は午後10時すぎにトラブルは解消したと発表しました。会社は詳しい原因を調べています。 クレジットカード会社の「JCB」によりますと、11日午後、全国のスーパーやコンビニそれにJRの駅などでクレジットカードの決済ができないトラブルが起きました。 このうち、JR東日本でも駅の券売機でクレジットカードが使えなくなり、JR渋谷駅の券売機にはクレジットカード決済が利用できないことを知らせる貼り紙が貼り出されました。 JCBによりますと子会社の「日本カードネットワーク」の決済システムに障害が発生したということです。 「日本カードネットワーク」は午後10時すぎにトラブルは解消したと発表し、「多大なるご迷惑をおかけしましたことを深くおわび申
障害プロセスを改善してきた話 こんにちは。Reliability & Securityチームに所属するSoftware Engineerの@sota1235です。 今回は10X内における障害対応プロセスの改善をご紹介します。 今が完成系ではなく道半ばではありますがこの半年 ~ 1年で大きく進化したので同じくらいのフェーズの会社で困ってる方がいたら参考にしてみてください！ ちなみに私ごとですが去年の5/26にこんな投稿をしてたのでやっと伏線を回収する形となります(※ ドヤ顔ではありません)。 目次 こんな感じで紹介していきます。 目次 障害対応プロセスの改善に踏み切った背景 課題1. 障害の報告フォーマットが統一されていない 課題2. 障害報のクオリティの差異が大きく後から振り返りが難しい 課題3. 障害対応者が特定の人に偏る 第一の改善 改善1. 障害報告書のフォーマット更新 改善2. S
「プッチンプリン」をはじめとする江崎グリコのチルド食品が店頭から姿を消した。2024年4月3日に実施した基幹システムの切り替えでトラブルが発生。同社が物流・販売を請け負っていた他社製品を含め、一部商品を出荷できなくなった。同月18日に出荷を一部再開したものの、トラブルは終息せずに再び出荷を停止。システム障害の影響で、当初業績予想より売上高を200億円程度押し下げるとみる。 「スーパーにもコンビニにも『プッチンプリン』が見当たらない」「『カフェオーレ』を長年愛して飲んでいるが、どこの店舗も販売休止中だ」――。2024年4月中旬、X（旧Twitter）で、このような投稿が相次いだ。 江崎グリコの看板商品が店頭から姿を消した理由は、システムトラブルによるものである。同社は2024年4月3日、基幹システムの切り替えを実施した。旧システムを独SAPのERP（統合基幹業務システム）パッケージ「SAP
先月の生産指示システムの不具合について | コーポレート | グローバルニュースルーム | トヨタ自動車株式会社 公式企業サイト
先月末の生産指示システム不具合により国内工場の稼働が停止し、お客様および仕入先、関係先の方々にご迷惑をお掛けしましたことを、お詫び申し上げます。 今回のシステム不具合は、部品の発注処理を行う複数のサーバーの一部が利用できなくなったことで発生しました。経緯としては、不具合発生の前日8月27日に定期の保守作業を実施しました。この保守作業では、データベースに溜まったデータの削除と整理を行っておりましたが、作業用のディスク容量が不足していたためエラーが発生し、それによってシステムが停止いたしました。これらのサーバーは、同一のシステムで作動していたため、バックアップ機でも同様の障害が発生し切り替えができず、工場の稼動停止に至りました。その後、8月29日に容量の大きいサーバーにデータを移管したことで、システムが復旧し、工場稼働を再開いたしました。この度、再現検証によって、上記が真因・その対策となること
【復旧済】ブックマーク情報の反映が遅延する不具合が発生しています - はてなブックマーク開発ブログ
2023年9月8日（金）18:32 追記 修正が完了し、ブックマークの情報が正常に反映される状態になりました。 一時的な負荷上昇による処理の遅延が発生したことが原因となります。 ご不便をおかけしてしまい申し訳ございません。以後再発防止に努めてまいります。 日頃よりはてなブックマークをご利用いただきありがとうございます。はてなブックマーク開発チーム、ディレクターの id:yone-yamaです。 2023年9月8日（金）の5:13頃より、はてなブックマークにおいて、ブックマーク情報の反映が遅延する不具合が発生しています。 発生している問題 ブックマークを行った際に更新される以下のような情報の反映が遅延しています。 ブックマーク数のカウント コメント一覧ページへのコメント表示 各種検索結果の更新 現在、急ぎ原因の調査と修正を進めております。 修正が完了し次第、この開発ブログでお知らせいたします
Togetter障害、Twitter API不具合で 「朝起きたら、エンタープライズ契約なのにFreeプランになっていた」【復旧】
トゥギャッターは7月21日朝、ツイートまとめサービス「Togetter」へのログインやツイート取得などが利用できなくなったと発表した。同社が提供する「Twilog」「min.t」でも障害が起きている。Twitter APIの不具合が原因という。正午までに復旧した。 @yositosiこと吉田俊明社長は、「朝起きたら、エンタープライズAPIを契約しているはずのTogetterのアプリ設定がFreeプランに格下げされており、TwitterのAPI全てにアクセスできないという不具合が発生していた」とTwitterに投稿。「Twitter側のサポートと調整しつつ、復旧中」という。その後、復旧したことを報告している。 Twitter APIのFreeプラン（無料）は書き込み専用で、ID 1個、月間1500件までの書き込みが可能。エンタープライズ版は大量の書き込みや読み込みに対応しており、専任チームに
富士通Japanは4月16日、住民票のコンビニ交付システムで証明書が誤交付されたと発表した。香川県高松市で申請者とは異なる住民の住民票が発行されたという。同社のコンビニ交付システムでは、2023年にも複数回の誤交付が発生していた。 高松市では1月4日から、富士通Japanのコンビニ交付システム「Fujitsu MICJET コンビニ交付」を導入していた。しかし、コンビニ交付サービスの項目でシステムの設定ミスがあり、4月4日に別人の住民票が誤交付される事象が発生した。 富士通Japanは誤交付の原因について「複数サーバでシステムを構成している高松市向けに、本来はその構成に応じたプログラムを適用すべきところを、誤って単一サーバ構成向けのプログラムを適用していたことによるもの」と説明。16日時点では既に正しいプログラムを適用し、正常に動作することを確認したという。また、同システムを利用する全ての
大田区は4月17日、2023年10月に発生したシステム障害の検証結果を公開し、システムの運用・保守を担っていたNECに対し損害賠償金486万8437円を請求すると発表した。障害の原因はNECによる情報共有の不足と結論付けている。同社も結果や損害賠償に同意しているという。 障害が発生したのは、23年10月9日から10日未明にかけて。システムを構成していたSSD3台がほぼ同時に故障し、データが全損して使用できない状態になった。これにより、大田区の住民記録システムや国保年金システム、税務システムなどが影響を受け、18日の完全復旧まで、区の業務に支障をきたした。 大田区は障害の原因について、SSD3台の同時故障を想定していないシステム構成にあったと説明。「システム基盤は19年に構築し、構築当時からSSDの故障について2本までは耐えうる構成をとっていたが、今回はその想定を大幅に上回る障害が発生したた
JR東日本は6月26日、24日に発生した、モバイルSuicaでのチャージなどができなくなった障害について、電源工事のミスが原因だったと発表した。工事マニュアルに間違いがあり、計画と異なるブレーカーを切ってしまったことで、システムサーバへの電源供給が止まってしまったという。 原因は、屋内の電源工事。マニュアルには本来「盤NO6（CV6）内のブレーカーを『切』にする」と記載されるべきところ、「盤NO6（CV4）内のブレーカーを『切』にする」と書かれていた。 作業スタッフがこの誤りに気づかず、「盤NO4（CV4）」のブレーカーを切ったため、夜間処理中のシステムへの電源供給が止まり、ハード故障やデータ不整合が発生した。 障害発生から完全復旧まで約12時間かかった。サーバ電源を再投入し、ハードウェアの健全性を確認した後、電源供給停止時に実行されていた処理の再実行やデータの整合性を確認した上でサービス
「江崎グリコ」は、基幹システムの障害で「プッチンプリン」などのすべての冷蔵商品が全国で出荷できない状態になっていることを明らかにしました。会社は、5月中旬の出荷再開を目指しているということです。 江崎グリコによりますと、全国の物流センターで出荷を停止しているのは ▽「カフェオーレ」や「プッチンプリン」など冷蔵商品のすべてに当たる82品目と ▽冷凍や常温の一部商品です。 4月3日に商品の流通などを管理する基幹システムを新しいものに切り替えた際にシステム障害が発生し、会社が復旧作業を進めていました。 18日、いったん出荷を再開しましたが ▽データの不具合が見つかったことや ▽受注分の処理が間に合わなかったことから 再び出荷を停止したということです。 会社は、5月中旬の冷蔵商品の出荷再開を目指して復旧作業に当たっています。 江崎グリコは「多大なご迷惑とご心配をおかけしており、おわび申し上げます。
2023年10月10日午前8時30分ごろに発生した「全国銀行データ通信システム（全銀システム）」の障害。全国銀行資金決済ネットワーク（全銀ネット）は復旧に向けた対応を実施しているが、11日午前11時時点で解消のめどは立っていない。 全銀システムは東京と大阪の2カ所のセンターで並行運転し、システムを構成する各種装置や通信回線などをすべて二重化してある。顧客に影響が出るシステム障害が発生するのは1973年の稼働以降、50年間で初めてとなる。 今回、不具合が生じたと考えられるのは、金融機関が全銀システムに接続する際に使う中継コンピューター（RC）のプログラムだ。送金元の金融機関から送金先の金融機関に対して支払う「内国為替制度運営費（旧銀行間手数料）」の設定などをチェックする機能に不具合が生じたと見られる。 きっかけは保守期限到来に伴い、10月7～9日の3連休中に14の金融機関で実施したRCの更改
金融機関どうしの資金のやり取りを担う全銀ネット＝「全国銀行資金決済ネットワーク」のシステムに不具合が発生し、10日朝から11の金融機関で他行宛ての振り込みができない事態となりました。復旧の見通しは立っておらず、現時点で140万件の振り込みに影響が出ているということですが、11日の取り引きについては、別の手段で対応して振り込みができるようにするとしています。 全国銀行協会によりますと、10日午前8時半ごろ、一般社団法人の全銀ネット＝「全国銀行資金決済ネットワーク」が運営する通称・全銀システムに不具合が発生しているのが確認されました。 この影響で ▽三菱UFJ銀行 ▽りそな銀行 ▽埼玉りそな銀行 ▽関西みらい銀行 ▽山口銀行 ▽北九州銀行 ▽三菱UFJ信託銀行 ▽日本カストディ銀行 ▽JPモルガン・チェース銀行 ▽もみじ銀行 ▽商工組合中央金庫 の11の金融機関で他行宛ての振り込みができなくな
3万2768時間が経過して発生した石巻市戸籍情報システムの障害についてまとめてみた - piyolog
2024年2月14日、宮城県石巻市は2023年9月に発生したシステム障害について原因がSSDの重大なファームウエア不具合であったと公表しました。ここでは関連する情報をまとめます。 重大な不具合情報が共有されずシステム障害発生 2023年9月当時にシステム障害が発生したのは石巻市本庁内で稼働する戸籍情報システム。システムが稼働するサーバー上で使用していたSSDの不具合によりバックアップサーバーを含めてシステム停止が起こり、市役所やコンビニなどで戸籍証明書の発行が行えない事態となった。2日後には最新の戸籍証明書の写しは発行できるようになった*1ものの、完全復旧（除籍や改製原戸籍の証明書発行）には約1か月（2023年9月20日～2023年10月18日）を要することとなった。 障害影響が長期化した理由として、市は当該システム上で取り扱うデータが戸籍にかかわるもので、復旧方法および突合などに万全を期
前段 PHP Conference Japan 2023が 10/08 に大田区産業プラザPiOで行われたわけですが、開会直後に提供している無線LANがいきなり不安定になってしまい、そのまま一部の部屋以外で提供できない状態になってしまった。 この記事では、なぜそのようなことが発生してしまったか？という点に関して解説しようと思う。 結論 会場側設備として入っているNAPT-BOXが YAMAHA RTX1200 という 15年前*1に発売されたルータで、来場者を捌けるだけのNAPTセッションテーブル*2が備わっておらず、NAPTテーブル溢れ*3を起こしてしまった。 事前知識 NAPT Network Address Port Translation 1つのグローバルIPアドレスを複数のホストで共有するための仕組み。この機能により1つのグローバルIPアドレスを複数のクライアント(コンピュータや
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月11日、前日に発生した銀行間送金を担う「全国銀行データ通信システム（全銀システム）」の不具合が午前7時時点でも解消のめどが立たないと明らかにした。午前8時30分に、平日朝から夕方までの取引を処理する「コアタイムシステム」に切り替わってからも、三菱UFJ銀行など11金融機関で他行宛ての振り込みが通常よりも遅れる可能性がある。 全銀ネットによると、10月10日夜から11日早朝にかけて、システム障害の原因になったとみられる中継コンピューター（RC）の内国為替制度運営費（旧銀行間手数料）のチェック機能に関するプログラムの改修を急いだ。しかし、「改修プログラムをテスト環境で試したところ、エラーが継続した」（全銀ネット）としている。
2023年5月16日、富士通Japanから全国の自治体の首長に対し、1通の依頼文が届いた。表題は「当社コンビニ交付システムのサービス停止について（お願い）」。デジタル庁の要請に基づき、自治体のコンビニ交付サービスを一時停止してシステムを点検させてほしいという趣旨だ。そこには次のような記述があった。 「2023年5月16日にデジタル大臣より、弊社からの依頼が首長様に届いていないという強い叱責を受けています。つきましては、改めて直接お願いさせて頂くものです」 世田谷区の住民記録・戸籍課の担当者は「唐突に依頼文が区長宛てに届いた。『叱責を受けた』など背景の説明もなく、これはさすがに受け取れないと、最初は受け取りを拒否した」と明かす。
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月11日、銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で発生した不具合に関してオンライン説明会を開いた。オンライン説明会は前日から2日連続での実施だ。1日目の質疑応答を踏まえ、全銀ネットの対応に対して厳しい質問が相次いだ。説明会の主な一問一答は以下の通り。 今回の更新作業は中継コンピューター（RC）のハードウエアとソフトウエアの両方を変えたのか？ そのうち何が原因でトラブルが生じたのか？ RCのハードウエアとソフトウエア両方のアップグレードを図った。そのうちソフトウエアに不具合が生じた。具体的には、内国為替制度運営費（旧銀行間手数料）の設定をチェックする機能にトラブルが生じた。 プログラム修正について、どのような改修を試みているのか？ 電文の種類によらず、内国為替制度運営費を算出しない簡素型プログラムを作成し、RC
大手ハンバーガーチェーンの日本マクドナルドでは15日午後システム障害が発生し、全国の多くの店舗で営業を取りやめるなどの影響が出ました。復旧作業を進めた結果、15日夜、一部の店舗で営業を再開したということで、会社は準備が整った店舗から順次、営業を再開させることにしています。 日本マクドナルドによりますと、15日午後、システム障害が発生したため全国の多くの店舗でレジの端末が使えなくなりました。 このため、一部の店舗では、レジの端末を使わずに口頭で注文を受け付けたほか、営業を取りやめる店舗も相次ぎました。 その後、会社が復旧作業を進めた結果、15日夜、一部の店舗で営業を再開したということです。 会社は準備が整った店舗から順次、営業を再開させることにしています。 会社は今回のシステム障害の原因はほぼ特定できたとしていて、サイバー攻撃によるものではないとしています。 東京 渋谷区にあるJR原宿駅近く
全国銀行資金決済ネットワーク（全銀ネット）は2023年10月10日午前、銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で他行宛ての振り込みができないトラブルが発生したと発表した。計画停止を除き、全銀システムで顧客に影響が出るシステム障害が発生したのは、1973年の稼働以来、初めて。2027年の稼働を見込む次期全銀システムの開発にも影響を与えそうだ。
2023年7月5日、名古屋港統一ターミナルシステム（NUTS / Nagoya United Terminal System）でシステム障害が発生しており、システムを管理する名古屋港湾協会は障害原因がランサムウエアによるものと公表しました。ここでは関連する情報をまとめます。 ランサムウエアによる国内初の物流影響事例か システム障害が起きたのは名古屋港湾協会が管理する名古屋港統一ターミナルシステム(NUTS)。名古屋港の5つのターミナル（飛鳥ふ頭北、NCB、飛鳥ふ頭南、TCB、鍋田ふ頭）と集中管理ゲート、荷役機器、NACCS、NUTS-Webをネットワークでつなぎ、船からの積み下ろし、プランニング、コンテナ保管、搬出入、ヤード作業、保税管理を行うシステム。*1 NUTSは1999年に導入されこれまで大きな障害が起きたことがなく、また2022年8月からシステム移行が行われ2023年1月に新シス
2023年11月6日 株式会社NTTデータグループ 株式会社NTTデータグループ（以下、NTTデータグループ）は、10月10日に発生した全国銀行データ通信システムに関するシステム障害により、預金者・金融機関・関係各所・世の中の皆様に、多大なるご心配・ご迷惑をおかけしたことをお詫び申し上げます。 現時点でご説明できる全国銀行データ通信システムの障害の状況と今後の取り組みについて、記者会見を実施させて頂きます。 記者会見時の投影資料はこちらをご覧ください。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
すべてのフェーズでミスが重なった ―全銀ネットとNTTデータ、全銀システム通信障害の詳細を説明 | gihyo.jp
僕の自作ツールが大学のサーバーをダウンさせてしまった日の話｜くりきん
グリコ、障害で売上200億円の損失…ベンダのデロイトに損賠賠償請求の可能性
【独自】プッチンプリン出荷停止の「主犯」はデロイト！グリコのシステム刷新で1年遅延の末に障害発生“ボロボロ案件”の実態
全国銀行データ通信システムのシステム障害についてまとめてみた - piyolog
江崎グリコの基幹システム移行トラブルについてまとめてみた - piyolog
本番サーバー60台のホスト名を全部 cat にしてしまった話 - Qiita
全銀システムの大規模障害、「真の原因」明らかに--全銀ネットとNTTデータが発表
バグは“数千パターンのテスト”をすり抜けた ―NTTデータ「2023/10/10 全銀ネット障害」について説明 | gihyo.jp
全銀ネット障害、メモリー不足が要因 事前テスト甘く - 日本経済新聞
なぜ富士通Japanだけが責められる？ コンビニ誤交付トラブルで気になる責任の所在
全銀ネット障害、いまだ根本原因特定できず メモリ不足の指摘には「分からない」
障害対応で大切だと感じていることのまとめ - Qiita
全銀システム障害の原因判明、メモリー不足でインデックステーブルが不正確な状態に
Google Cloud、豪年金基金のアカウントを誤削除 予備も誤削除 他社でのバックアップでなんとか復旧
「説明を聞けば聞くほど不穏な空気が漂ってきたよ」全銀ネットの障害、原因説明の会見で謎がさらに深まった模様
障害対応プロセスを改善してきた話 - 10X Product Blog
「S/4HANA」への切り替えでトラブルの江崎グリコ、1カ月経過も商品の出荷停止続く
富士通Japan、“コンビニ交付”でまたまた誤交付 同社は謝罪 「全力を挙げて再発防止」
大田区、NECに賠償金480万円を請求 10月のシステム障害巡り SSD3台の同時故障想定できず
モバイルSuica障害、電源工事ミスが原因 マニュアルに誤り、システムサーバへの電源供給切れる JR東
江崎グリコ 基幹システム障害で全冷蔵商品が出荷できず | NHK
全銀システムの大規模障害、中継コンピューター2台ともに不具合で冗長構成が機能せず
全銀ネット 不具合で振り込み140万件に影響 別の手段で対応へ | NHK
カンファレンスイベントで会場回線を過信してはいけない - notokenの覚書
全銀システム障害は11日朝時点で復旧のめど立たず、プログラム改修でもエラー継続
試練続く富士通Japan、コンビニ誤交付トラブル巡り河野デジ相からは「強い叱責」
「切り戻しよりリスクが低い」、全銀ネットが11日開催した説明会の一問一答
マクドナルド システム障害で営業取りやめの一部店舗で再開 | NHK
次期全銀システムに影響か、1973年の稼働以来初の大規模システム障害
ランサムウエアによる名古屋港のシステム障害についてまとめてみた - piyolog
全国銀行データ通信システムの障害に関する取り組みについて