江崎グリコのシステム障害によりプッチンプリンなど一部商品の出荷が停止している。4月にはゆうちょ銀行で入金遅延が起きた。なぜ企業のシステムトラブルが相次いでいるのか。麗澤大学教授の宗健さんは「システムを発注している日本のユーザー企業にはITのプロがいないことが背景にある」という――。 続出する企業のシステムトラブル 今に始まったことではないが、企業のシステムトラブルは思ったよりも多い。2023年10月に発生した全銀ネットの障害では数百万件の送金が滞り社会的にも大きな影響があり、2027年に稼働を見込んでいた次期システムの検討作業も停止に追い込まれた。 最近も、江崎グリコのシステム障害によりプッチンプリンの出荷が止まり（※1）、ゆうちょ銀行でも100万件を超える入金遅延が起きた（※2）。 ※1 日本経済新聞「プッチンプリン出荷再開を延期 グリコのシステム障害」（2024年5月1日）4月3日のE

Google Cloudは、同クラウドユーザーであるオーストラリアの年金基金「UniSuper」で発生した大規模障害の原因について報告する記事「Sharing details on a recent incident impacting one of our customers」を公開しました。 今月（2024年5月）初旬、Google Cloud上で稼働していた数百の仮想マシン、データベース、アプリケーションを含むUniSuperのプライベートクラウドが突如として原因不明のまま削除され、復旧されるまでの数日にわたってシステムが利用できなくなるという大規模障害が発生しました。 今回の報告では、実際になぜこのような大規模障害が発生したのか、その原因と復旧の経緯について明らかにされています。その概要を紹介しましょう。 Google Cloud VMware Engineの設定を間違う UniS

コーヒーが好きな emi です。 私は CloudWatch Logs というサービスが便利で好きなのですが、一般的に「S3 と比べてコストがかかる」という印象を持たれている方が多いと感じています。 何にどれくらいコストがかかっているのか どんな時に CloudWatch Logs への保存を考えたらいいのか コスト削減するにはどのようなアーキテクチャにしたらいいのか 等を調査しまとめました。 料金簡易比較表 ※ 2024/5/25 時点の東京リージョンでの料金で、$1 = 156円換算 ※ どちらも保存クラスがスタンダードの場合 ※ S3 の書き込み料金はリクエスト回数によって計算されるため、下記表では 1 GB のファイルを 1 回でアップロードすることを想定して計算している CloudWatch Logs S3 Standard

Amazon S3のコンテンツを配信したい場合、S3の静的ウェブサイトホスティングを使用したり、S3の前段にCloudFront(CDN)を配置して配信することが多いかと思います。今回は、3つ目の選択肢として、S3をALBから配信する構成について紹介します。 S3バケットをプライベートにしたまま、ALBレイヤーでHTPS通信化や認証やセキュリティグループのアクセス制限を行うことができます。アプリケーションで利用するALBにS3配信を集約させることも可能です。また、外部･内部どちらのALBでも採用できます。 オンプレミスからプライベート通信によるS3アクセス 認証付きURL/CookieでS3コンテンツを配信する代替案として、ALB認証でS3配信 などで有用です。 構成ポイント 本構成の肝はALBのターゲットにS3のインターフェース型VPCエンドポイントのIPを指定すること(昔からあるゲート

基調講演に最初に登場したスンダー・ピチャイCEOは、同社の生成AI「Gemini」のこれまでの成長について語った。同氏によると、150万以上の開発者が活用しているという。 生成AI搭載検索エンジン「AI Overview」（旧SGE） 「AI Overview」は、昨年のGoogle I/Oで発表されたGoogle検索の生成AI機能「Search Generative Experience」（SGE）を改称し、改善したもの。 詳細を説明したリズ・リード氏は、「Googleがあなたのためにググってくれるようになる」と語った。 AI Overbiewは「Gemini時代のGoogle検索」であり、リアルタイム情報、ランキングと品質システム、新しいエージェント機能で改善されたという。 マルチステップリーゾニング（多段階推論）で、1つの質問で複数ステップの結果を提示する。 例として、ピラティスにつ

2024年4月5日、江崎グリコは基幹システムの切り替え後にシステム障害が発生し、同社や販売委託を受けている一部の冷蔵食品の出荷に影響が生じていると公表しました。ここでは関連する情報をまとめます。 障害後緊急対応するも在庫数合わず業務停止 今回システム障害が起きたのは江崎グリコの基幹システムで2024年4月3日の新システムへの移行に伴い発生した。物流、販売、会計などを一元管理するERPパッケージ SAP社製「SAP S/4HANA」で構築されており、「顧客への継続的価値創出を可能にするバリューチェーン構築と経営の迅速な意思決定を目的とした、調達・生産・物流・ファイナンスなどの情報を統合する基幹システム」と同社では説明している。障害原因の詳細は同社から開示されてはいないが、システム障害の問題個所の特定は済んでいる。なおサイバー攻撃によるものではないと取材に答えている。*1 システム障害の影響に

Vポイントを巡っては、統合を発表した直後の午前11時ごろからシステムトラブルが発生。SMBCアプリなどで、TポイントとのID連携や残高表示ができない状態が続いていたが、23日午前3時に復旧したと発表していた。 一方、スマートフォンだけでVポイントが貯められる「モバイルVカード」でも22日から不具合が発生。こちらは執筆時点（23日午前11時半）でも解消されない状態が続いており、カードが表示できずポイントが貯められなかったユーザーに対し、専用フォームからレシートを添付のうえ問い合わせるよう案内している。 また23日には、モバイルVカードやポイントの管理などを行う、CCCMK提供の「Vポイントアプリ」でも不具合が発生。アプリを開こうとしても「メンテナンス中」を知らせる案内や「アプリサーバが応答しません」といった通知が出る他、アプリを開いてもホーム画面に何も表示されないなど、不安定な状態が続いてい

はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて

全国の大学生協の食堂などで決済に使われている「大学生協アプリ」で4月15日の正午過ぎから約30分間にわたって障害が発生し、決済などができない状態になった。 同アプリを提供している大学生協事業連合は16日、 「AWSで設定されていた同時接続制限を超過したことが原因」と表明。同時接続制限を拡張し、監視体制を強化することで対策したとしている。 大学生協アプリは、生協の購買や食堂などで使える電子マネー機能などを備えており、全国の多くの大学生協で採用されている。 4月15日の障害は、お昼のピーク時刻に当たる午後0時3分に発生。サインインやバーコードの更新、チャージ、会員証の表示、電子マネーによる精算などができない状態になった。Xには学生から困惑の投稿が相次ぎ、トレンドに「大学生協アプリ」が入った。 原因は、AWSで設定されていた同時接続制限を超えたことにより、リクエストが処理できなくなったこと。同日

はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 現在、私は弊社サービスの一部のインフラ刷新を行なっている最中で、ここ数ヶ月 AWS CDKを触っておりました。 前職では Infrastructure as Code として Terraform を使ったことがあるのですが、少なくともAWS を使うという条件においては CDKを使うべき という結論に辿り着きました。 今回はそのように考えるようになった理由について説明していこうと思います。 前提 Terraform はパブリッククラウドにおける Infrastructure as Code の走りとして様々な現場に導入実績があり、それに対するリスペクトは持つべきです。 しかしよくある「AvsB」というメリデメの構図で「どっちでもいいよ、好みだよ」と投

Webプロダクト開発をしていると様々な諸事情によりUI構成を変えたり機能を増やしたり減らしたりすることが多々あると思います。そんな時に避けられない事態として「UI変更に対するお怒りがユーザーからわんさか届いてしまう」ということがあります。今回はUI上の１要素の色を変えただけで虎の尾を盛大に踏んでしまった事件の話をしようと思います。差し当たりどういうUIをどう変えたのかを明示しておきます。変える前がこちら↓↓ beforeUIほんで変わった後がこちら↓↓ afterUIご覧の通り「作業カード」と呼ばれるコンポーネントの色を「緑＆黄」から「緑塗り＆緑枠線」に変更しました。「え、それだけ？」という声が聞こえてきそうですがそうなんです。それだけなのです。しかしここはレガシードメインのtoB SaaS。toB SaaSではUIの変更がユーザー業務への影響に直結するので軽微な変更を加えるのもハードルが

愛知県に本社があるスギ薬局グループの全国の店舗で、「うるう日」が原因とみられるシステム障害が発生し、一時、処方箋の登録や会計ができなくなりました。会社によりますと、システムは午後1時ごろまでに復旧したということです。 スギ薬局グループによりますと、29日朝、全国の店舗から「処方箋のシステムが使えない」という問い合わせを受け、システム障害の発生が確認されました。 愛知県のほか関東や関西など、全国におよそ1300ある調剤ができる店舗で、処方箋を登録したり会計をしたりするパソコンのシステムが一時、使えない状態になり、各店舗の薬剤師が緊急性があるものについては、薬を出したうえで後日、会計してもらうよう対応したということです。 会社によりますと、原因調査を行ったうえ、システムの改修プログラムを各店舗に送り、システムは午後1時ごろまでに復旧したということです。 今回、障害が起きたシステムは3年ほど前に

2024年2月14日、宮城県石巻市は2023年9月に発生したシステム障害について原因がSSDの重大なファームウエア不具合であったと公表しました。ここでは関連する情報をまとめます。 重大な不具合情報が共有されずシステム障害発生 2023年9月当時にシステム障害が発生したのは石巻市本庁内で稼働する戸籍情報システム。システムが稼働するサーバー上で使用していたSSDの不具合によりバックアップサーバーを含めてシステム停止が起こり、市役所やコンビニなどで戸籍証明書の発行が行えない事態となった。2日後には最新の戸籍証明書の写しは発行できるようになった*1ものの、完全復旧（除籍や改製原戸籍の証明書発行）には約1か月（2023年9月20日～2023年10月18日）を要することとなった。 障害影響が長期化した理由として、市は当該システム上で取り扱うデータが戸籍にかかわるもので、復旧方法および突合などに万全を期

AIの最も大きな懸念事項、日本だけが「システム障害」を挙げる　KPMGコンサルティング：AIへの社会的認識の変化について世界17カ国で調査 KPMGコンサルティングは、「AIは信頼できるか～AIへの社会的認識の変化に関するグローバル調査2023」を発表した。日本は75％の人が「AIへの理解度が低い」と回答しており、調査対象国の中で最も低かった。

神奈川県の公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生による登録や高校出願に支障が出ていた問題が、2月7日までに解消した。問題発生から完全解消まで1カ月かかっている。 県は問題の原因について「システム開発を委託した業者の設定に不備があったため、メール送信が集中したタイミングでGmailに迷惑メールと判定されたのでは」と説明しているが、設定のどこが問題だったかは特定できておらず、Googleに問い合わせても回答がないという。 ネット上では今回、業者の技術力を疑問視する声も出たが、担当者は「県が仕様書を出して技術確認を行い、仕様に対応できるとのことで入札で決めた。問題ないと考えている」と述べている。 「@gmail.comだけ」突然の障害、メールシステムを変えるなど対応 出願システムは1月4日に公開。メール配信サー

何か作業を行う際に、作業用のIAMロールへ スイッチロール(AssumeRole)するケースは多いと思います。 そのときの権限は基本的には 「そのロールにアタッチされたポリシー」です。 ですが、その権限を AssumeRole 時に狭められることを最近(今更)知りました。 「セッションポリシー」というものを使って スイッチロール先での権限を狭められるとのこと。 今回はこのセッションポリシーを適用して スイッチロール(AssumeRole)を試してみました。 まずは普通にAssumeRole まずは aws sts assume-role コマンドを使った いつもどおりのスイッチロールを紹介します。 以下シンプルなコマンドサンプルです。 ### スイッチ先のロールARN role_arn="arn:aws:iam::123456789012:role/example-dev-role" ##

登壇資料 SRE立ち上げてどうなった？最新のコア技術とSRE事情 Lunch LT https://findy.connpass.com/event/305677/ ハッシュタグ ：#SRE_findy

はじめに 2023年はChatGPT元年とも言われ、いわゆるテック業界だけでなく、あらゆる業界でChatGPTが話題となりました。 この空前のChatGPTブームの中で、企業内でもChatGPTを利用しようという取り組みが進み、連日ニュースでも取り上げられていました。 皆さんも「〇〇会社、ChatGPTを従業員約1万人に展開。全従業員の業務効率化を目指す。」といった内容のニュースをよく見かけたのではないでしょうか？ 先行企業に遅れを取らないよう「うちも早くやらないと！」と、同じようにChatGPTを社内に配る取り組みを進める企業が相次ぎました。 しかし、最近になって先行導入を進めた企業のデータが出始めており、実際の利用状況を見てみると、2023年これだけChatGPTが注目され、メディアを騒がせたにも関わらず、全体の利用状況は1割程度かそれ以下に留まっているという状態になっています。 この