はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の7日目です。 私はIT関連企業ではないサービス業の人間ですが、IT関連全般のことをやってます。 現在ノーコード開発としてはかなりメジャーな Bubble というプラットフォーム上でサービスを展開しているのですが、そこでのやらかしを共有したいとおもいます。 Bubbleとは Qiitaにはノーコードエンジニアはあんまりいなさそうなので説明します。 Bubbleは、プログラミング知識がなくても使えるノーコードプラットフォームです。ドラッグ＆ドロップでウェブアプリを作れるので、、技術がない人でも簡単にアプリ開発が可能です。このプラットフォームのいいところは、見た目のデザインからデータベースまで、全部自分で作れる点。プログラミングがわからなくても、条件分岐やデータ操作などの複雑なことができます。 B

はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023 の6日目です。 この記事で取り上げるやらかしは数年前の出来事です。 当時新卒2年目のエンジニアだった私が、ロードバランサ配下のサーバを全部切り離してサービス停止させてしまった話について、ここに供養させていただきます。 自分の失敗談なんて書きとぉないんじゃ、、というのが本音ですが、毎年やらかし系のアドベントカレンダーに勇気と希望をもらっていたので、今年は私もその一助となれたらという思いです。 やらかして死にたくなっているあなたへ。 背景 新卒で入社した会社で社内システム向けインフラの保守運用に携わっていました。 2年目となって仕事にも慣れてきた頃（フラグ）、事を起こしてしまいました。 環境 やらかしの対象となった環境はこちら。 AWS環境上で、ロードバランサとしてELBがあり、その配下にサーバ（

この記事はSRE Advent Calendar 2023の4日目の記事です。 qiita.com 3日目は@myu_mxさんのゆるやか成長スタートアップの小さなEnabling SRE的活動でした。 久々のアドカレ参加ですが、少し思いの丈に任せてみようということで経験と主観が強めの記事です。 この辺で語られていたよとかこれは賛同できないというポイントなどもっといい情報があればぜひお知らせください、という感じで雑多に書いて参ります。 TerraformやCloudformationあたりをよく触るのでそのあたりがどうしても頭にありますがなるべく固有の話はしない方向で。 色々書きつつ、基本的には長期的な運用を見越したソフトウェアの運用設計と同じ考えで良いとは思ってます。 最低限のインターフェースを公開し疎結合に設計する、モジュールは交換可能する、ライフサクルを考える、などなど。 ただIaCコ

はじめにこちらはmhidakaが建立したAdvent Calendar Day.3となります。 こんにちは、はじめまして、のなと申します。mhidakaさんのTweetを見つけて、初めてAdvent Calendarなるものを書いています。なにかお作法間違っていたら大目に見てください、よろしくお願いします。 軽く自己紹介をさせていただくと、普段はGoogleでAndroidのTextまわりの開発を行っており、DroidKaigiやShibuya APKで発表させていただいたりしています。最近はほぼ絵文字の話しかしてないので、絵文字おじさんと思われてそうですが、普段の仕事は絵文字に限らず、Androidの文字表示の部分は大抵面倒をみています。 今回この機会をいただいたので、どんな内容を書こうか迷ったのですが、やはり皆が読んで面白い内容というと、絵文字になるのかなぁ、ということで性懲りもなく絵

「ダブルチェックを頑張る」でごまかさない、スクウェア・エニックスのサーバ設定漏れ防止策：たくさんのサーバを一気に構築できる“自律構築の仕組み”とは（1/3 ページ） スクウェア・エニックスは膨大な数のゲームを提供している。当然、それらを支えるインフラも大量で、運用管理にかかる手間も大きい。「Cloud Operator Days Tokyo 2023」のセミナーを基に、大量サーバの最適な管理法を紹介する。 変化の激しい現在のビジネス環境において、アプリケーションやサービスもその変化に素早く対応する必要がある。もちろん、それを支えるインフラについても同様だ。クラウドサービスやIaC（Infrastructure as Code）などを活用し、効率的にインフラを管理している企業も多いだろう。 ただ、ある意味でインフラは生き物だ。作った当初は問題なくても、管理する対象が増えたり、長期間運用してい

NTTデータグループは2023年11月6日、銀行間送金を担う「全国銀行データ通信システム（全銀システム）」のシステム障害に関する会見で原因の見解や今後の対応について説明した。「ハードの物理メモリー不足によるものではない」（NTTデータの鈴木正範取締役副社長執行役員）とし、金融機関名テーブルなどのテーブルを生成するプログラムに原因があると見て調査しているという。 10月7日から9日にかけて実施した中継コンピューター（RC）の更改作業ではOSを32ビットから64ビットに変更した。鈴木副社長は「64ビットOSへの変更に当たり生成プログラムを64ビットに対応させなければならない箇所があったが、その部分に不具合があった」との見解を示した。不具合が混入した原因や試験で検出できなかった理由は「現在全銀ネットと共に検証している」（NTTデータの佐々木裕社長）とした。 今後は決済システムや勘定系システムなど

Cloudflareで起きた約40時間の障害、原因はデータセンター事業者の不手際？（1/2 ページ） 11月2日午前11時43分（現地時間、以下同）から4日午前4時25分ごろまでの約40時間にわたり、米Cloudflareのサービスで障害が発生。同社は障害の解決後、状況の詳細を4日中に公開した。 11月2日午前11時43分（現地時間、以下同）から4日午前4時25分ごろまでの約40時間にわたり、米Cloudflareのサービスで障害が発生した。パケットの転送制御やデータ分析システムに問題が起き、セキュリティに関するサービスやログの取得機能、各種APIが利用できなくなったり、使いにくくなったりしたという。同社は障害の解決後、状況の詳細を4日中に公開した。 障害の原因はデータセンターにおける電力供給の問題と説明。Cloudflareによれば、同社のパケット転送制御機能などは米オレゴン州にある3つ

10月に発生した全国銀行データ通信システム（全銀ネット）の障害をめぐり、システム構築を担当したNTTデータが11月6日に謝罪会見を開いた。NTTデータグループの経営陣は、開発体制に不備があった可能性に言及し、総点検を行う考えを示した。 今回の障害では、三菱UFJ銀行やりそな銀行など10行、2日間で約506万件の取引に影響があった。そして現在も暫定措置のまま運用中だ。NTTデータグループ（持ち株会社）の本間洋社長は、全銀ネットの障害で預金者や金融機関に迷惑をかけたと謝罪した。 直接の原因については、10月18日に全銀が説明した内容と同様。システム移行直後に中継コンピュータのシステム上で銀行間取引手数料の入力とチェックを行った際、メモリ上に展開したインデックステーブルが破損していたため、中継コンピュータが異常終了したと説明している。 NTTデータの佐々木裕社長は「動作していたアプリケーションに

銀行間送金を担う「全国銀行データ通信システム（全銀システム）」で2023年10月10～11日に発生した障害の原因が10月16日、分かった。全銀システムと各金融機関のシステムをつなぐ中継コンピューター（RC）において、メモリー不足に起因し、金融機関名などを格納したインデックステーブルに不正な値が紛れ込んだ。 インデックステーブルはRCのディスク上にあるファイルから展開する。このファイルを作成するプログラムを実行したタイミングで、一時的に確保するメモリー領域が不足し、ファイルの内容が不正確になったという。 全銀システムの障害を巡っては、三菱UFJ銀行やりそな銀行などで他行宛ての振り込みに遅れが生じた。全銀システムを運営する全国銀行資金決済ネットワーク（全銀ネット）によると、概算値ながら10月10～11日の2日間で仕向けと被仕向けを合わせて500万件超の送金に影響が出たとしている。

金融機関どうしの資金のやり取りを担う全銀ネット＝「全国銀行資金決済ネットワーク」のシステムに不具合が発生した問題で、運営団体はシステムが復旧し、遅れが出ていた振り込みの処理もすべて完了したと発表しました。 全国銀行協会の関連団体の全銀ネット＝「全国銀行資金決済ネットワーク」は、10日から不具合が続いていた金融機関どうしの資金をやり取りするシステムについて、12日午前8時半から正常に稼働していることを確認し、復旧したと発表しました。 今回のシステムの不具合では10の金融機関で振り込みが遅れるなどの影響が出ましたが、システムの復旧を受けて三菱UFJ銀行やりそな銀行、商工中金など各金融機関で通常通りの利用ができるようになったということです。 全銀ネットによりますと、10日から11日までに処理が遅れた取り引きはあわせて500万件を超えたということですが、12日午前中までにすべての処理が完了したとい

2023年10月10日、全国銀行資金決済ネットワークは、同社が運用している全国銀行データ通信システムでシステム障害が発生したことを公表しました。この障害の影響により一部の金融機関で送金遅延などが生じました。ここでは関連する情報をまとめます。 560万件の取引に影響 障害が起きたのは全国銀行資金決済ネットワーク（全銀ネット）が運用する全国銀行データ通信システム（全銀システム）のうち、平日8時半から15時半まで稼働するコアタイムシステムで金融機関との接続に使用される中継コンピューター（RC）。障害は10月10日8時半に発生し、10月12日未明に復旧に向けた対応が完了、同日8時半の切替完了したことで復旧した。*1 全銀システムは1,000超の金融機関が参加しており、1営業日当たりの取引件数は2022年実績で約806万件、約14兆円。*2 今回のシステム障害により金融機関間で行われる送金に遅延や取

宿泊予約サイト「Booking.com」を運営するブッキング・ドットコム日本支社は10月10日、宿泊施設に対して未払いが相次いでいる問題について謝罪した。支払いシステムの更新作業で起きた不具合が原因であったと説明。同社は「現在緊急に対応させていただいております」としている。 Booking.comは、宿泊施設に代わって、利用客に対してオンライン予約を提供するサービス。運営会社のBooking.comはオランダに本社を置いている。同サービスを巡り、TBSなどの一部報道機関は10日、宿泊施設への宿泊費の未払いが相次いでいるブッキング・ドットコムに対し、一部の施設オーナーが損害賠償請求を起こす方針であると報じていた。 この報道を受け、ブッキング・ドットコム日本支社は声明を発表。「お取引先（パートナー）各社様に対し、期日通りに支払いを履行することは、当社にとって常に最優先事項であり、先般の支払いシ

マイナンバーカードの相次ぐトラブルに、岸田首相が「マイナンバー情報総点検本部」を設置し、マイナンバーカードの取得者向けの専用サイトで閲覧可能なすべてのデータ29項目の情報を、今年秋をめどに総点検します。 ただ、この総点検では、漏れている大切なものがあります。それは、皆さんの大切な老後の命綱の「年金」です。 ©iStock.com 他人の年金情報を閲覧できるトラブルが発生 マイナンバーと基礎年金番号は全く違うもの。マイナンバーは国民全員につけられている12桁の番号。いっぽう年金は、10桁の番号で管理されます。ですから、関係ないと思っている方もいらっしゃるかもしれませんが、実は、マイナンバーカードでできることはいろいろあります。 カードを提示すれば年金に関する相談や「マイナポータル」で年金記録の照会ができ、また各種手続き・届出もできます。さらに、マイナポータルで、年金など公金の受け取り口座を登

政府は8日､マイナンバーカードをめぐる一連のトラブルを受けた総点検の中間報告を公表した｡ ｢総点検｣を進める､全国の団体や自治体を取材すると､見えてきたのは｢手作業｣に頼らざるを得ない現場だった｡何が起きているのか？ （塘田捷人、市野凜） ※（更新）記事の最後で動画をご覧になれます。 “新たに1000件” 8日､総理大臣官邸で開かれた､政府の｢マイナンバー情報総点検本部｣｡ カード取得者向けの専用サイトで閲覧できる情報がマイナンバーに正確にひも付けられているか確認する総点検の中間報告が行われた｡ 総点検は､マイナンバーカードを取得した人向けの専用サイト､｢マイナポータル｣で閲覧することができる税や健康保険証､住民票の情報など29の項目について､マイナンバーへの情報のひも付けが正確に行われているかを確認する｡ 中間報告では､ ▼カードと一体化した保険証に誤って他人の情報が登録されていたケース

RHELだからマイナーバージョンアップしないというのは危うい こんにちは、のんピ(@non____97)です。 皆さんは定期的にRed Hat Enterprise Linux(以降RHEL)のマイナーリリースは固定して運用されていますか? 全てのパッケージのマイナーリリースを固定するのは止めましょう。 RHELにおいて、基本的にパッケージが修正されるのは最新のマイナーリリースのみです。 抜粋 : Red Hat Enterprise Linux ライフサイクル EUS, AUS, ELSの考え方 P.4 そのため、最新でないマイナーリリースを使い続ける場合、パッケージの修正があったとしても適用することができません。 Errataの重要度や優先度が限定的ではありますが、特定マイナーリリースのサポート期間を2年間に延長する仕組みとしてEUS(Extended Update Support)が

はじめに Terraformの勉強を始めたので備忘録を兼ねて行ったことを投稿しようと思います。 以下の4つの投稿内容を実施した上で今回の内容を行います。 TerraformをインストールしてTerraformでAWS上にEC2作ってみる TerraformでIAMを設定してEC2にセッションマネージャー経由で接続してみる Terraformでセキュリティグループを設定してEC2にhttp接続する TerraformでS3とIAMロールを構築してEC2からS3にアクセスしてみる IAMロールの変更 まず、SSMのRun CommandでAnsibleが実行できるようにEC2にアタッチしているIAMロールにポリシーAmazonEC2RoleforSSMを追加します。 ポリシーを定義 dataを使ってAWSのAmazonEC2RoleforSSMのポリシーを定義します。

はじめに 社内インフラの運用担当者にとってソフトウェアのバージョンアップは地味な割に大変な業務です。 特に社内のオンプレサーバで動いているようなソフトウェアの場合、バージョンアップに伴う諸々の調整をそのソフトウェアを利用している各部署と行う必要があります。 そんなときに「今は忙しいからバージョンアップを先送りしてほしい」「このバージョンはスキップしてもよいのでは？」なんて声が各部署から聞こえてきます。バージョンアップの価値を各部署に理解してもらうのは大変です。 この文章はそんな時になぜバージョンアップしなければならないのかを上司や各部署のマネージャに伝えるために書きます。 ソフトウェアの有効期限は2-5年 まず、第一に、ソフトウェアというものは無限に使えるわけではなく、一定の有効期限があり、それを過ぎると徐々に動かなくなってきます。俗にいう「何もしてないのに動かなくなった問題」です。 なぜ