先月の生産指示システムの不具合について | コーポレート | グローバルニュースルーム | トヨタ自動車株式会社 公式企業サイト

先月末の生産指示システム不具合により国内工場の稼働が停止し、お客様および仕入先、関係先の方々にご迷惑をお掛けしましたことを、お詫び申し上げます。 今回のシステム不具合は、部品の発注処理を行う複数のサーバーの一部が利用できなくなったことで発生しました。経緯としては、不具合発生の前日8月27日に定期の保守作業を実施しました。この保守作業では、データベースに溜まったデータの削除と整理を行っておりましたが、作業用のディスク容量が不足していたためエラーが発生し、それによってシステムが停止いたしました。これらのサーバーは、同一のシステムで作動していたため、バックアップ機でも同様の障害が発生し切り替えができず、工場の稼動停止に至りました。その後、8月29日に容量の大きいサーバーにデータを移管したことで、システムが復旧し、工場稼働を再開いたしました。この度、再現検証によって、上記が真因・その対策となること

[emt0]

ストレージ容量も無駄な在庫持たないのだろうか

[hunglysheep1]

こういう発表をするのは好感が持てる

[gnt]

わりと怖めのあるある話だった

[miki3k]

単純な原因だけにありがちでもある / 定期メンテだから余計に

[sirobu]

DBログかREDOログを入れてるディスクが溢れて、レプリケーションしてたバックアップ機も同じ事象が起きた、とかかな？

[murasuke]

原因ではなく、真因という言葉を使っているあたり、原因調査をきちんとしているんだろうなと感じる

[verda]

レプリケーション側も削除が伝播して同じ状態になったか

[kazutanaka]

再発防止策としてメンテレビュー項目に空きディスク容量と作業ディスク容量を追加する。

[jacoby]

真因という言葉で、なぜなぜ分析で担当者を吊し上げるの想像してしまった。

[suzuki_kuzilla]

このケースでの「真因」は、作業用のディスク容量が不足するようなシステムないし手順書を作成した理由、では。

[s_nagano]

容量不足だったそうな

[cvtbgspuda]

専門外なので見てるだけ。

[yogasa]

オートスケールしないんですかって書きたいけど作業起因なら間に合わんか

[solidstatesociety]

保守計画の見直しだね

[kazukan]

レプリケーション先が同じ領域構成だと死ぬやつ（テスト環境でいつもログ領域が溢れてます。明日は我が身）

[utsuidai]

ストレージがジャストインタイムにスケール出来なかったという比喩の方が合ってると思ったが、ちょっと長い

[mamotena]

ストレージの在庫も下請けに押し付けて、ある意味トヨタらしいですな

[pastatch]

作業用【の】ディスク容量だから、過去分を別テーブルに切り出してエクスポートしてからdropするつもりだったけどDB置いてるディスクの残容量足りんかった系？DBはOSレイヤでのトラブルに対してどうしても弱いよね…

[puhu208n]

いや、「ディスク領域が不足したため」は真因じゃないだろ。結果だろ。なぜ不足な領域を割り当ててたのか、上司が勝手に縮小させるような権力勾配などがなかったのか、ちゃんとなぜなぜしろよ。

[facebooook]

“作業用のディスク容量が不足”

[n_vermillion]

「真因」現場責任者を公開ド詰めして出てくるやつねー。この事態を予測することも大事ですよね。ディスク監視は？　何故tmpは除外してるの？　とかー！／クラウドの自動拡張ストレージだと仕様には合いそう。

[kyukyunyorituryo]

システム増強をしなかった原因は

[REV]

「同一のシステムで作動していたため、バックアップ機でも同様の障害が発生」/ ストレージ空き容量はトラックに積んで待機させておいて、ジャストインタイムで納入する予定だったのかな。

[teraayashi]

最大限分からない人が読んでも分かる言葉に変換してて好感持てた。／バックアップ体制が脆弱だなという印象。

[napsucks]

尋常じゃないなぜなぜ分析で詰められたんだろうなぁ

[wisboot]

運用チームが24時間365日リソース監視してて、1つでもアラートに引っ掛かったら即関係部署全員招集する体制組んでるはずだけどなぁ／定期メンテ時に予見しないストレージ逼迫ならレビュー不足かな、ツライ

[ya--mada]

んー？納得イカン。/確かにOracle RACで、ドデカい単一ボリュームにしてしまっていたら、ストレージ容量を埋めちゃうのかもしれない.

[aya_momo]

サイバー攻撃でなくてよかったね。小島プレスのとき、トヨタ自動車では起こりえないみたいに言っていたからね。/真因というと、どうしても「なぜなぜ分析」を思い出させるよね。

[t1033]

担当者お疲れ様でした…

[ckis]

トップコメが冴えてて何書こうとしたか忘れた。

[strawberryhunter]

対象データが何かわからないけど、削除前にローカルにバックアップを作ったことで一気に埋まってしまったんだろうか。

[yoiIT]

“サイバー攻撃によるシステムの不具合ではないことを、改めてお知らせ”

[at_yasu]

“データベースに溜まったデータの削除と整理を行っておりましたが、作業用のディスク容量が不足していたためエラーが発生し、それによってシステムが停止いたしました” お疲れ様です…

[paradisemaker]

あるあるで聞くだけで胃が痛い

[KoshianX]

これディスク溢れが原因だったのか。見落としがちなところではあるかねえ。

[u-li]

“ディスク容量が不足していたためエラーが発生し、それによってシステムが停止いたしました。これらのサーバーは、同一のシステムで作動していたため、バックアップ機でも同様の障害が発生し切り替えができず”

[daira4000]

トヨタでもディスクをパンクさせる事あるんだな