不用意にサーバーでアプリを起動してハングアップさせてしまった話 - Qiita
はじめに この記事は、本番環境などでやらかしちゃった人 Advent Calendar 2023の18日目です。 もう何年も前のことなのでもうそろそろ時効だろうと思い、誰かの学びになればとここに供養します。 やらかしちゃった出来事 ある日の保守作業 保守管理しているWebシステムの調査のためにOracle Databaseが動いているWindows Serverにリモートデスクトップ接続していました。 調査の過程でデータベースインスタンスにアクセスして状態を確認する必要が生じました。 普段は自分のクライアントPCにインストールしたデータベースクライアントツールでつないで確認していたのですが、その時は横着してサーバーにインストールされていたSQL Developer（OracleのGUIデータベースクライアントアプリ）を起動してしまいました。 固まる画面 じんわり起動していくSQL Deve
【1月23日追記】12月23日、24日に発生しました障害に関するご報告
いつもSkebをご利用いただき、誠にありがとうございます。 12月23日12時よりskeb.jpにアクセスできない大規模な障害が発生しておりましたが、12月24日07時に復旧いたしました。 12月23日、および12月24日が納品期限のリクエストは納品期限を12月25日23時59分までに延長させていただきます。 みなさまには多大なご迷惑をお掛けしましたことをお詫び申し上げます。 本障害につきまして詳細をご報告させていただきます。 概要日時: 12月23日12時22分〜12月24日7時00分 (JST) ダウンタイム: 18時間38分 内容: skeb.jpにアクセスできない不具合 原因: SkebはすべてのサーバとシステムをHerokuに設置していたが、障害発生時刻より同サービスのアカウントが理由の通知なく利用できなくなった。 解決: Herokuの一切の利用を中止し、すべてのサーバとシステ
インフラエンジニアを20年やってて初めて知ったtopコマンドの表示を劇的に見やすくする方法 | 株式会社ビヨンド
こんにちは、カナダに来て1年弱ですが、いまだに"how are you?"にアイムファインセンキューと返してしまう全然英語が上達してない聖賢です。 インフラエンジニアならみんな大好きtopコマンド、おそらくビヨンドの中ではサーバ運用の中で最初に覚えるコマンドじゃないでしょうか。 実は結構奥が深いコマンドでいろんなことができるので、これまでドヤ顔で「こんなこともできるんやで」と上司の威厳、、、もとい先輩としての経験を後進に伝えていたのですが私も最近になって初めて知った超便利な使い方を紹介したいと思います。 ちょっと長いですがお付き合いください。 普通にtopコマンドを実行すると以下のような画面が表示されます 結構これだけでもサーバ運用には重要な情報が詰まっているのですが、topコマンドの見方などは他でも色々と紹介されていると思うので今回は割愛します 今回はこのtopコマンドの表示を最終的にこ
無料の SSL 証明書が得られる ZeroSSL を使ってみた
はじめに 皆さんは ZeroSSL を知っていますか？個人でウェブサイトを運営している皆さんであれば、多くの方は Let's Encrypt を利用されていると思います。 https://letsencrypt.org/ja/ もちろん僕も使っています。僕の様なエンジニアの方であれば SSL の仕組みもおおよそ理解もしているし、コマンドラインの実行方法も知っておられるのでウェブサイトの SSL 証明書を取得する事もそれほど難しい事ではないでしょう。 しかしそれほど詳しくない方が certbot の様なコマンドを使って SSL 証明書を発行するのは割と難しい事です。そこでご紹介したいのが ZeroSSL です。 https://zerossl.com/ ZeroSSL とは ZeroSSL もまだあまり名前が知られていないせいか、Google 検索で「ZeroSSL」を検索すると「ZeroS
Dockerは非推奨じゃないし今すぐ騒ぐのをやめろ - Cloud Penguins
今話題のこれ。 kubernetes.io これに関しての日本語情報として、 @inductor が相当詳細に記事を書いてくれている。 blog.inductor.me blog.inductor.me にも関わらず、未だに完全に間違った解釈をしている人が多く観測される。記事をちゃんと読めば理解できるはずなのだけど、たぶんタイトルしか読んでいない。 タイトルしか読まないのであれば、あえて強めのタイトルにしておけば目にはつくかなと思い、改めて書いてみることとした。 Dockerは非推奨じゃないし、これからもバンバン使え まず @inductorが解説しているとおり、k8sを使っていない人には全く関係のない話なので、今まで通りDockerを使って良い。 が、もう一つ誤解を解いておきたいのが 自分の環境でDockerを使ってイメージ作成し、Kubernetesにデプロイしている人にも、今回の件は
LiteSpeedがMicrosoft IISを抜いて4位のWebサーバに
Q-Successは11月10日(米国時間)、「The LiteSpeed web server is now used by 7.5% of the websites, up from 4.9% one year ago. It is now the 4th most use web server, ahead of Microsoft-IIS.」において、LiteSpeedのシェアがMicrosoft IISを抜いて第4位になったと伝えた。LiteSpeedの1年前のシェアは4.9%。この1年間で増加傾向を続けていた。一方、Microsoft IISはこの1年間で下落傾向を続けており、今回のシェア逆転につながった。 LiteSpeedシェア推移 2019年11月〜2020年11月 資料: Q-Success Q-Successの報告によれば、2020年11月12日(米国時間)時点でのW
ローカル開発環境の https 化 | blog.jxck.io
Intro Web の https 化が進み、それに伴って https を前提とする API も増えてきた。 そうした API を用いた開発をローカルで行う場合、 localhost という特別なホストを用いることもできるが、それだけでは間に合わないケースも少なからずある。 localhost を https にするという方法もあるが、そのように紹介されている方法には、いくつか注意すべき点もある。 この辺りの話を、直近 1 ヶ月で 3 回くらいしたので、筆者が普段使っている方法や注意点についてまとめる。 特に推奨するつもりはない。 Update chrome の --host-rules について追記 localhost での開発の注意点 例として https://example.com にデプロイする予定の ServiceWorker を用いたアプリがあったとする。 開発をローカルで行う
SELECT文で本番環境を落としたお話 - Qiita
（この記事は 地平線に行く とのマルチポストです） 本番環境でやらかしちゃった人 Advent Calendarで、このパターンのやらかしはなかったのでキーボードを叩くことにしました。 番外編のつもりでお楽しみください。 この記事が、新たな障害発生を防ぐことにつながれば幸いです。 何をやったのか ある日、ちょっとした調査のために本番データベースのデータを確認することになりました。 （個人情報が格納されているようなシステムではなかったので、必要であれば本番データベースへのアクセスが許されていました） もしメンテナンスがあればそのタイミングでやればよかったのですが、直近では特に予定はないとのことでした。そのため、システムが動いている状態のまま作業をすることにしました。 ごく単純な SELECT を実行するだけのつもりだったので、システムに影響がないと判断したためです。 その際、万が一コピペをミ
【魚拓】ほんとうに怖い。さくらのレンタルサーバー - Qiita
・ 10月04日 16時 x.com取得時のダイアログを非表示に変更しました ウェブ魚拓は表示に必要なHTMLソースへの変更は可能な限り避 ...
さよなら本番サーバー - Qiita
とあるSESの現場では本番リリースの時期が近づいてきており、僕を含めた数人のエンジニアは間に合いそうもない残作業の開発を進めたり、本番で使うためのデータの整備を本番サーバー内で行ったりしていた。ほとんどがその案件のために集められたメンバーだったため特に和気あいあいとするでもなく、エアコンの風の音が響く小さなオフィスの片隅で静かに作業をしていた。 業務上のやりとりもRedmineで行われており、声を発するのもたまにメンバー同士で話をしたり、クライアントから電話がかかってきた時だけ。その日もメールで通知が届いてきており、確認してみるとRedmineで僕が関係しているチケットにコメントが届いているという通知だった。 通知のURLをクリックしてRedmineのチケットを確認してみる。 それによると一旦本番サーバー上に存在するデータの中の一部の主要データをCSV形式で送ってほしいという依頼だった。無
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず
AWS、東京リージョン23日午後の大規模障害について詳細を報告。冷却システムにバグ、フェイルセーフに失敗、手動操作に切り替えるも反応せず 報告によると直接の原因は東京リージョンのデータセンターで使用されている冷却制御システムにバグがあったこと。これにより、緊急時の手動操作にも冷却制御システムの一部が反応しないなどでサーバが過熱し、障害に至ったと説明されています。 8月23日午後に約6時間の障害。EC2だけでなくRDSも 報告によると、障害は日本時間2019年8月23日金曜日の昼過ぎに発生。影響範囲は仮想マシンを提供するAmazon EC2とブロックストレージを提供するAmazon EBSのそれぞれ一部。以下、AWSの報告を引用します。 日本時間 2019年8月23日 12:36 より、東京リージョン (AP-NORTHEAST-1) の単一のアベイラビリティゾーンで、オーバーヒートにより一
【復旧済み】12/4 はてなブックマークに接続できない障害が発生しています - 障害・メンテナンス情報 - はてな
【復旧済み】12/4 はてなブックマークに接続できない障害が発生しています 2018/12/04 09:48:21 （更新: 2018/12/04 17:00:31） 平素よりはてなブックマークをご利用いただきありがとうございます。 2018年12月4日（火）8:50頃より、はてなブックマーク（Web、アプリとも）に接続できない障害が発生しています。 現在、原因の調査及び復旧の操作、影響範囲の確認を行っております。 ご利用の皆さまにはご迷惑をおかけして申し訳ありません。復旧まで今しばらくお待ちください。 11:00 追記 原因の調査及び復旧を続けており、一部ページについて復旧しています。引き続き対応を続けます。 ご利用の皆さまにはご迷惑をおかけして申し訳ありません。復旧まで今しばらくお待ちください。 17:00 追記 サービスのすべての機能が復旧いたしました。 原因は検索ミドルウェアの不調
海外からDDoS攻撃してくるカメラをシャットダウンしてしまうのは不正アクセスなのか?自首してみたが返答がない!そして泥沼のDDoSへ
海外からDDoS攻撃してくるカメラをシャットダウンしてしまうのは不正アクセスなのか?自首してみたが返答がない!そして泥沼のDDoSへ 顛末を記録した雑多なログになっているので整理されていない部分が多々あります. 2万文字を超えているので気合を入れて読むか適当に読み飛ばしてください. これでも不要な調査データを省いたりしてスリム化したのですが超巨大化してしまいました. 2018-11-07から自宅のネットワークの調子が悪すぎる 自宅のネットワークが死んでいました. J:COMの回線現在98%パケットロスするという状態になっています pic.twitter.com/Vfe0O3p5j2 — エヌユル (@ncaq) 2018年11月7日 今日の私 14時 サーバが落ちていることが通知される,サーバにDHCPがアドレス振ってくれてない 15時 ucomがついに死んだかと思いjcomに移行する 1
日本企業が「カオスエンジニアリングやっていく宣言」を出せた理由 (1/2)：クックパッドに直撃 - ＠IT
クックパッドが2018年8月2日に公開したブログエントリ「Chaos Engineering やっていく宣言」に大きな反響があった。米国を中心に多くの企業で実践されているが、疑似的とはいえ本番環境に障害を起こさせるというカオスエンジニアリングを日本で実践するのは、まず不可能という向きが多かったからだ。なぜ、クックパッドでは実践することが可能になったのか。 今、エンジニアの間で注目を集めているキーワードが「カオスエンジニアリング」だ。動画配信サービスを提供するNetflixが導入したことで着目されるようになった手法で、本番サービスであえて疑似的な不具合を引き起こし、システムがどのように振る舞うかを把握する。ひいては、マイクロサービスを採用した大規模システムの安定性、可用性向上につなげていくことを目的とした取り組みだ。 カオスエンジニアリングについては、いちエンジニアとして「面白そう、やってみ
9月06日03時09分頃に発生した地震による弊社サービスへの影響について - メンテナンス・障害情報・機能追加｜さくらインターネット公式サポートサイト
2018年09月06日掲載 障 害 発 生 の お 知 ら せ さくらインターネット株式会社 平素よりさくらインターネットをご利用いただき、誠にありがとうございます。 9月06日 03時08分頃に北海道地方を中心に発生した地震により、弊社サービスの 一部に影響が発生しておりますので、以下の通りご報告いたします。 ご利用中のお客様には大変ご迷惑をおかけいたしましたことを深くお詫び 申し上げます。 ＜ 記 ＞ 発生日時 : 2018年09月06日03時08分 - 2018年09月08日14時30分 影響範囲 : 石狩データセンター収容サービス 影響内容 : 現在、弊社石狩データセンターへの北海道電力による特別高圧送電が 停止(停電)しております。石狩データセンター収容サービスにつきま しては、自家発電設備により正常に稼働を継続しております。 なお 09月06日03時08分 - 07時44分 に
さくらインターネット石狩データセンターの非常用発電装置は48時間の稼働を想定、今後の燃料調達は調整中（更新：電源供給が約50％再開）
さくらインターネット石狩データセンターの非常用発電装置は48時間の稼働を想定、今後の燃料調達は調整中（更新：電源供給が約50％再開） 2018年9月6日未明に北海道で発生した地震の影響で、北海道の多くの地域において停電が発生しています。 さくらインターネットが運営する石狩データセンターも停電に見舞われ、一部のUPSにおいて電源切替時に動作異常が発生したものの午前8時前には回復。9月6日午後18時時点では、非常用発電装置によって正常稼働を継続していることが発表されています。 さくらインターネットへの取材によると、石狩データセンターの非常用発電装置はディーゼル式発電装置で、稼働期間は48時間程度を想定し、この分の燃料となる重油の備蓄が用意されています。ただし48時間を超えての非常時の燃料供給体制については現在調整中とのことです。 北海道の大規模な停電は現在も続いており、停電復旧の見込みはまだ明
「さようなら ImageMagick」の考察 - Qiita
はじめに サイボウズさんの ImageMagick の利用をやめる記事について少し思う所を書きます。否定というよりアシストのつもりです。(2018年08月26日投稿) さようなら ImageMagick 自分のスタンスを3行でまとめると、 policy.xml で読み書き出来るファイル形式を絞れば、いうほど怖くはない ただ、ImageMagick に限らずサーバサイドで動かすのは手間と覚悟が要る Yahoobleed の件でコード品質が信用ならないと言われたら、ごめんなさい 「ImageMagick を外した理由」 サイボウズさんのブログでは、2017年の ImageMagick 脆弱性報告数が多いので駄目との事です。 脆弱性 ImageMagick には脆弱性が大量に存在します。 2017 年に報告された ImageMagick の脆弱性は 236 件 でした。 大量にある上にリモートコ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
hatebu.me
『サーバルームに踏み台を設置しました』メールを見て部署内が騒然→こういう意味で使ってるという話へ「犯行声明と思ってしまった」
新しく借りたサーヴァーに前ユーザーの改ざんが残る？ 「ベアメタルクラウド」の落とし穴