2024年4月5日、江崎グリコは基幹システムの切り替え後にシステム障害が発生し、同社や販売委託を受けている一部の冷蔵食品の出荷に影響が生じていると公表しました。ここでは関連する情報をまとめます。 障害後緊急対応するも在庫数合わず業務停止 今回システム障害が起きたのは江崎グリコの基幹システムで2024年4月3日の新システムへの移行に伴い発生した。物流、販売、会計などを一元管理するERPパッケージ SAP社製「SAP S/4HANA」で構築されており、「顧客への継続的価値創出を可能にするバリューチェーン構築と経営の迅速な意思決定を目的とした、調達・生産・物流・ファイナンスなどの情報を統合する基幹システム」と同社では説明している。障害原因の詳細は同社から開示されてはいないが、システム障害の問題個所の特定は済んでいる。なおサイバー攻撃によるものではないと取材に答えている。*1 システム障害の影響に

Vポイントを巡っては、統合を発表した直後の午前11時ごろからシステムトラブルが発生。SMBCアプリなどで、TポイントとのID連携や残高表示ができない状態が続いていたが、23日午前3時に復旧したと発表していた。 一方、スマートフォンだけでVポイントが貯められる「モバイルVカード」でも22日から不具合が発生。こちらは執筆時点（23日午前11時半）でも解消されない状態が続いており、カードが表示できずポイントが貯められなかったユーザーに対し、専用フォームからレシートを添付のうえ問い合わせるよう案内している。 また23日には、モバイルVカードやポイントの管理などを行う、CCCMK提供の「Vポイントアプリ」でも不具合が発生。アプリを開こうとしても「メンテナンス中」を知らせる案内や「アプリサーバが応答しません」といった通知が出る他、アプリを開いてもホーム画面に何も表示されないなど、不安定な状態が続いてい

はじめに こんにちは。雑食系エンジニアの勝又です。 今回は、私が2年ほど参画させていただいた大規模サービスのインフラやDevOps周りを全面的にリプレイスしたお話について簡単にご紹介させていただきます。(内容に関しては事前に参画先企業様に確認していただいております) サービス概要 詳細な内容は伏せますが、メインとなるテーブルのレコード数が数十億件、スパイク時には数万〜数十万のユーザーが一斉にアクセスする大規模サービスです。 技術的負債 長く運用されてきたサービスのあるあるですが、新機能の追加が最優先されてきたことにより、こちらのサービスにも下記のような技術的負債が大量に積み上がっていました。 RubyやRailsやMySQLのバージョンがかなり古い インフラの構成がコードではなくドキュメントで管理されている アプリケーションの構成管理がおこなわれていない CI/CDパイプラインが構築されて

全国の大学生協の食堂などで決済に使われている「大学生協アプリ」で4月15日の正午過ぎから約30分間にわたって障害が発生し、決済などができない状態になった。 同アプリを提供している大学生協事業連合は16日、 「AWSで設定されていた同時接続制限を超過したことが原因」と表明。同時接続制限を拡張し、監視体制を強化することで対策したとしている。 大学生協アプリは、生協の購買や食堂などで使える電子マネー機能などを備えており、全国の多くの大学生協で採用されている。 4月15日の障害は、お昼のピーク時刻に当たる午後0時3分に発生。サインインやバーコードの更新、チャージ、会員証の表示、電子マネーによる精算などができない状態になった。Xには学生から困惑の投稿が相次ぎ、トレンドに「大学生協アプリ」が入った。 原因は、AWSで設定されていた同時接続制限を超えたことにより、リクエストが処理できなくなったこと。同日

はじめに 皆様こんにちは、ソーシャル経済メディア「NewsPicks」(Media Infrastructureチーム)エンジニアの北見です。 現在、私は弊社サービスの一部のインフラ刷新を行なっている最中で、ここ数ヶ月 AWS CDKを触っておりました。 前職では Infrastructure as Code として Terraform を使ったことがあるのですが、少なくともAWS を使うという条件においては CDKを使うべき という結論に辿り着きました。 今回はそのように考えるようになった理由について説明していこうと思います。 前提 Terraform はパブリッククラウドにおける Infrastructure as Code の走りとして様々な現場に導入実績があり、それに対するリスペクトは持つべきです。 しかしよくある「AvsB」というメリデメの構図で「どっちでもいいよ、好みだよ」と投

Webプロダクト開発をしていると様々な諸事情によりUI構成を変えたり機能を増やしたり減らしたりすることが多々あると思います。そんな時に避けられない事態として「UI変更に対するお怒りがユーザーからわんさか届いてしまう」ということがあります。今回はUI上の１要素の色を変えただけで虎の尾を盛大に踏んでしまった事件の話をしようと思います。差し当たりどういうUIをどう変えたのかを明示しておきます。変える前がこちら↓↓ beforeUIほんで変わった後がこちら↓↓ afterUIご覧の通り「作業カード」と呼ばれるコンポーネントの色を「緑＆黄」から「緑塗り＆緑枠線」に変更しました。「え、それだけ？」という声が聞こえてきそうですがそうなんです。それだけなのです。しかしここはレガシードメインのtoB SaaS。toB SaaSではUIの変更がユーザー業務への影響に直結するので軽微な変更を加えるのもハードルが

愛知県に本社があるスギ薬局グループの全国の店舗で、「うるう日」が原因とみられるシステム障害が発生し、一時、処方箋の登録や会計ができなくなりました。会社によりますと、システムは午後1時ごろまでに復旧したということです。 スギ薬局グループによりますと、29日朝、全国の店舗から「処方箋のシステムが使えない」という問い合わせを受け、システム障害の発生が確認されました。 愛知県のほか関東や関西など、全国におよそ1300ある調剤ができる店舗で、処方箋を登録したり会計をしたりするパソコンのシステムが一時、使えない状態になり、各店舗の薬剤師が緊急性があるものについては、薬を出したうえで後日、会計してもらうよう対応したということです。 会社によりますと、原因調査を行ったうえ、システムの改修プログラムを各店舗に送り、システムは午後1時ごろまでに復旧したということです。 今回、障害が起きたシステムは3年ほど前に

2024年2月14日、宮城県石巻市は2023年9月に発生したシステム障害について原因がSSDの重大なファームウエア不具合であったと公表しました。ここでは関連する情報をまとめます。 重大な不具合情報が共有されずシステム障害発生 2023年9月当時にシステム障害が発生したのは石巻市本庁内で稼働する戸籍情報システム。システムが稼働するサーバー上で使用していたSSDの不具合によりバックアップサーバーを含めてシステム停止が起こり、市役所やコンビニなどで戸籍証明書の発行が行えない事態となった。2日後には最新の戸籍証明書の写しは発行できるようになった*1ものの、完全復旧（除籍や改製原戸籍の証明書発行）には約1か月（2023年9月20日～2023年10月18日）を要することとなった。 障害影響が長期化した理由として、市は当該システム上で取り扱うデータが戸籍にかかわるもので、復旧方法および突合などに万全を期

AIの最も大きな懸念事項、日本だけが「システム障害」を挙げる　KPMGコンサルティング：AIへの社会的認識の変化について世界17カ国で調査 KPMGコンサルティングは、「AIは信頼できるか～AIへの社会的認識の変化に関するグローバル調査2023」を発表した。日本は75％の人が「AIへの理解度が低い」と回答しており、調査対象国の中で最も低かった。

神奈川県の公立高校入試のインターネット出願システムで、「@gmail.com」ドメインのアドレスにシステムからのメールが届かず、受験生による登録や高校出願に支障が出ていた問題が、2月7日までに解消した。問題発生から完全解消まで1カ月かかっている。 県は問題の原因について「システム開発を委託した業者の設定に不備があったため、メール送信が集中したタイミングでGmailに迷惑メールと判定されたのでは」と説明しているが、設定のどこが問題だったかは特定できておらず、Googleに問い合わせても回答がないという。 ネット上では今回、業者の技術力を疑問視する声も出たが、担当者は「県が仕様書を出して技術確認を行い、仕様に対応できるとのことで入札で決めた。問題ないと考えている」と述べている。 「@gmail.comだけ」突然の障害、メールシステムを変えるなど対応 出願システムは1月4日に公開。メール配信サー

何か作業を行う際に、作業用のIAMロールへ スイッチロール(AssumeRole)するケースは多いと思います。 そのときの権限は基本的には 「そのロールにアタッチされたポリシー」です。 ですが、その権限を AssumeRole 時に狭められることを最近(今更)知りました。 「セッションポリシー」というものを使って スイッチロール先での権限を狭められるとのこと。 今回はこのセッションポリシーを適用して スイッチロール(AssumeRole)を試してみました。 まずは普通にAssumeRole まずは aws sts assume-role コマンドを使った いつもどおりのスイッチロールを紹介します。 以下シンプルなコマンドサンプルです。 ### スイッチ先のロールARN role_arn="arn:aws:iam::123456789012:role/example-dev-role" ##

登壇資料 SRE立ち上げてどうなった？最新のコア技術とSRE事情 Lunch LT https://findy.connpass.com/event/305677/ ハッシュタグ ：#SRE_findy

はじめに 2023年はChatGPT元年とも言われ、いわゆるテック業界だけでなく、あらゆる業界でChatGPTが話題となりました。 この空前のChatGPTブームの中で、企業内でもChatGPTを利用しようという取り組みが進み、連日ニュースでも取り上げられていました。 皆さんも「〇〇会社、ChatGPTを従業員約1万人に展開。全従業員の業務効率化を目指す。」といった内容のニュースをよく見かけたのではないでしょうか？ 先行企業に遅れを取らないよう「うちも早くやらないと！」と、同じようにChatGPTを社内に配る取り組みを進める企業が相次ぎました。 しかし、最近になって先行導入を進めた企業のデータが出始めており、実際の利用状況を見てみると、2023年これだけChatGPTが注目され、メディアを騒がせたにも関わらず、全体の利用状況は1割程度かそれ以下に留まっているという状態になっています。 この

これは はてなエンジニア Advent Calendar 2023 の 18 日目の記事です。昨日は id:gurrium による private-isuで70万点取るためにやったこと - ぜのぜ でした。私は 50 万点ぐらいで満足してしまっていたので、しっかり詰めていて凄いなと思う。 developer.hatenastaff.com Web アプリケーション開発において、「キャッシュは麻薬」という言葉がインターネット上をよく飛び交っています。YAPC::Kansai OSAKA 2017 の id:moznion のトークでよく知られるようになったワードじゃないかな。 初出はちゃんとは分からないんですが、少なくとも 2011 年には言われていますね。 「キャッシュは麻薬」とはよく言ったものだ。— TOYAMA Nao (@nanto_vi) November 5, 2011 キャッシ

ChatGPTなどの生成AI（主に大規模言語モデル、LLM）を自社の業務改革に取り込む動きが大企業の中でも進んでいる。 みずほフィナンシャルグループの関連会社・みずほリースではいま、500人規模で実際の業務のなかでChatGPTを活用するトライアルを続けている。 その一端が、12月12日に都内で開かれた｢生成AIフォーラム｣（主催：エクサウィザーズ）のなかで明かされた。 ｢当社は1000人規模の会社ですけれども、（現在）500人くらいで（生成AI活用の）トライアルを継続しています｣ みずほリースデジタル推進部部長の宮谷伸也氏は、セッションでこう語る。 2023年はパナソニックの事例を筆頭に、大企業で生成AI活用を試行錯誤する例が相次いだ。 みずほリースの事例も同様の流れの1つだが、金融大手みずほFGの関連会社ということもあってか、マイクロソフトのAzure OpenAIサービスで独自Cha

ITエンジニアの知識共有サービス「Qiita」ユーザーに聞く、「勤め先で使っているクラウド・サーバ」のトップは──運営元のQiita社は12月12日、こんな調査結果を発表した。1974ユーザーに複数回答で聞いた結果、最も利用率が高いのは「AWS」（1259件）。2位は「Google Cloud」（563件）だった。 3位は「Azure」（544件）で、Google Cloudと小差だった。4位は「オンプレミス」（499件）、5位は「レンタルサーバ」（239件）、6位は「さくらのクラウド」（166件）、7位は「Oracle Cloud」（74件）、8位は「IBM Cloud」（55件）、9位は「その他パブリッククラウド」（43件）、10位は「ニフクラ」（35件）だった。 11位以下には「IDCFクラウド」（11位、26件）や「Alibaba Cloud」（12位、23件）などが入った。202

ランサムウェアを恐れるあまり、ストレージインフラが複雑化している　ネットアップ：AI活用や地球環境への配慮も求められる ネットアップは、調査レポート「2023 Data Complexity Report」を発表した。それによると「AIを使いたい」というニーズがクラウド移行を後押ししているという。

クラスメソッドのAWS総合支援 コスト最適化からセキュリティ、構築支援、運用保守まで、AWS活用を支援します。

はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の7日目です。 私はIT関連企業ではないサービス業の人間ですが、IT関連全般のことをやってます。 現在ノーコード開発としてはかなりメジャーな Bubble というプラットフォーム上でサービスを展開しているのですが、そこでのやらかしを共有したいとおもいます。 Bubbleとは Qiitaにはノーコードエンジニアはあんまりいなさそうなので説明します。 Bubbleは、プログラミング知識がなくても使えるノーコードプラットフォームです。ドラッグ＆ドロップでウェブアプリを作れるので、、技術がない人でも簡単にアプリ開発が可能です。このプラットフォームのいいところは、見た目のデザインからデータベースまで、全部自分で作れる点。プログラミングがわからなくても、条件分岐やデータ操作などの複雑なことができます。 B