AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま
AWS、ElasticsearchとKibanaのフォークによる「OpenSearch」プロジェクトを発表。Elasticとの溝は埋まらないまま AWSは、オープンソースの検索エンジンと可視化ツールの「OpenSearch」プロジェクトを発表しました。これは検索エンジンおよび可視化ツールとして人気のElasticsearchとKibanaをフォークしたものです。 Introducing the #OpenSearch project: a community-driven, open source fork of Elasticsearch & Kibana. https://t.co/VmlP14DiIC pic.twitter.com/YFAI0KkIx3 — AWS Open Source (@AWSOpen) April 12, 2021 すでにGitHub上には、Elastics
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
はじめに なぜおうちKubernetes？ ハードウェアの選定 クラスタのブートストラップ cybozu-go/neco-apps Metallb cert-manager Contour TopoLVM Rook SealedSecret ArgoCD GitHubアカウントでSSOする gRPC用とWeb UI用でサービスを分ける VictoriaMetrics Grafana operator moco 開発環境 今動いているもの これからやりたいこと バックアップとリストア 監視の充実 まとめ はじめに これはCybozu Advent Calendar 2021 7日目の記事です。是非他の記事も読んでみてください。 Kubernetesの名を聞くようになって久しく、皆様も業務・プライベート問わず日々YAMLを書かれていることでしょう。自分専用のプライベートクラスタが欲しいと思われ
はじめに 先日、海外向けに運用していた個人ブログがDDoS攻撃を受けてしまいました。 こういったサイバー攻撃は、企業に対して行われるものという先入観がありました。 しかし、調べてみると、最近では個人ブログも標的になってきていると報告があがっていました。 CloudFrontとS3で作成する静的サイトが人気になっており、特にCloudFrontの危険性について紹介したいと思います。 DDoS攻撃って？ ざっくり説明すると、ウェブサイトやサーバーに対して過剰なアクセスやデータを送付するサイバー攻撃です。 インフラストラクチャーレイヤー攻撃(レイヤー3、4)とアプリケーションレイヤー攻撃(レイヤー6、7)の２つに分類されます。 ご指摘を頂きましたので、訂正いたします。 厳密には、EDoS攻撃でした。 AWS Shield Standard AWSを利用した場合、defaultでAWS Shiel
はじめに 私は普段インフラをメインで扱っているエンジニアです。 そんな開発がメインではない私が1年目でプログラミングを学ぶために使用した教材を紹介していきます。インフラエンジニアの方だけではなく未経験のエンジニアの方にも参考になれば良いなと思っております。 インフラの学習に使用した教材については下記記事にて紹介しておりますので、ご覧いただければ幸いです。 インフラエンジニアはプログラミングは必要？ まずはこの質問をChatGPTに聞いてみましょう。 はい、インフラエンジニアにとってプログラミングスキルは必要です。 近年、クラウドの普及やインフラ自動化の進展により、インフラエンジニアに求められるスキルも変化しています。今では、サーバの自動化やコンテナのデプロイなど、プログラミングスキルが必要な業務も多くなっています。 具体的には、以下のようなことが挙げられます。 インフラ自動化の実現 インフ
AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開。AWS Lambdaでの利用にフォーカス
AWS、高速起動にこだわった軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開。AWS Lambdaでの利用にフォーカス Amazon Web Services（AWS）は、実験的な実装としてサーバレス環境のAWS Lambdaで使うことにフォーカスした軽量なJavaScriptランタイム「LLRT」（Low Latency Runtime）をオープンソースで公開しました。 LLRTはRustで開発され、JavaScriptエンジンにはQuickJSを採用しています。 LLRTの最大の特徴は、現在のJavaScriptランタイムにおいて性能向上のために搭載されているJITコンパイラをあえて搭載せず、よりシンプルで軽量なランタイムとして実装することで高速に起動することにこだわっている点です。 これにより（Node.jsやDenoや
はじめに zstd コマンド(zstdless, zstdcat, unzstd なども)は gzip にも対応しています。特にデコードは拡張子を見て自動で gzip と zstd を切り替えてくれるので、 gzip 圧縮されたログと zstd 圧縮されたログが混在している環境でも透過的に扱うことができます。 なので gzip から zstd への切り替えは次のように段階的に進めることができます。 zstd コマンドツール群のインストール 圧縮されたログを扱うときに zstd を使い始める 圧縮フォーマットを zstd に切り替える 性能比較 Debian 9.3 で gzip 1.6 (aptでインストールしたもの) と zstd (1.4.0) を比べてみます。 対象となるファイルは ltsv でゴチャゴチャとアプリの情報を混ぜた重めの apache のアクセスログです。 (5,367
エンプラに Kubernetes を 導入してみて分かった 4つの Lessons Learned
Kubernetes 基盤における非機能試験の deepdive（Kubernetes Novice Tokyo #17 発表資料）NTT DATA Technology & Innovation
タイミーのRailsアプリをシニアなエンジニアが採点したらだいぶ辛口だった - Timee Product Team Blog
この記事はTimee Advent Calendar 2023シリーズ 1の1日目の記事です。 はじめに こんにちは、タイミーでバックエンドエンジニアをしている須貝（@sugaishun）です。昨年は弊社でアドベントカレンダーに取り組んだか覚えていないのですが、今年はなぜかいきなり3トラックで臨むということで、非常に勢いがあるなと思いました。量と勢いで攻めていくところが弊社らしいなと感じています。全て完走できると良いですね。 さて私はその中のひとつのトップバッターということで、タイミーのRailsアプリケーションについて弊社のシニアなエンジニアたちと雑談した内容を座談会風にお伝えできればと思います。事の発端は弊社Slackのバックエンドエンジニアが集まるチャンネルで「タイミーのRailsアプリケーションの健康度はどのくらいなのか？」という会話をしたことでした。その時の私の感想は「人によって
最近のCloudflare Workersについて、知らない方向けにざっくばらんに書いてみます。 連絡事項 自己紹介しておくと、僕はCloudflareのDeveloper RelationsチームにいてDeveloper Advocateをやってます。 一方で、HonoというCloudflareのみならずDenoやBun、Fastly等で動くWebフレームワークを開発してます。 Cloudflare Workersとは？ 本題に入る前に、そもそも「Cloudflare Workersとは？」を簡単に紹介しておきます。 Cloudflare WorkersとはCloudflareのエッジで動くサーバーレス環境です。 基本的にJavaScript/TypeScriptでアプリケーションを書きます。 V8というJavaScriptエンジンの上でアプリを動かすのですが、これはWebブラウザのGo
NURO 光、23日はつながりにくくなる可能性 公式が発表 オンラインゲームのアップデートにより【追記あり】
ソニーネットワークコミュニケーションズは8月22日、「NURO 光」のサービスが23日はつながりにくくなる可能性があると発表した。公式Twitterアカウント（＠NUROhikari_Sony）は「オンラインゲームのアップデートなどに伴うデータ量の増加により、つながりにくくなるなどの現象が発生する可能性がある」と説明している。 このツイートに対してユーザーからは「ゲームのせいにするなよ」「サービスを提供する側があらかじめこんな声明出すの恥ずかしすぎる」「かなりグレーな発言なの自覚あるのか？」など厳しい声が相次いでいる。 また、MMO RPG「ファイナルファンタジーXIV」（FF14）が23日に最新パッチを公開し、メンテナンス作業を行うことから同ゲームが原因ではないかと予想するユーザーも見られた。 NURO 光を巡っては、10日ごろにも「通信速度が遅い」といった報告がSNS上などで相次いで見
Alternative Architecture DOJO Offline #3での資料です。
最近実際に開発現場にコンテナを導入してきた経験から、公式ドキュメントに記載されているベストプラクティスに実際どうなんだということを言ってみようと思います。公式に書いてあることを間違ってると指摘という意図はありません 発言は個人の見解に基づくものであり、所属組織を代表するものではありません。 2023/12/3更新: 燃えかけてるのでタイトルを変えました。 補足: こちらの環境は下記を想定しています。 Java CICD/本番環境イントラネット内に整備 WF開発 マルチステージ・ビルドを使う マルチステージビルドの目的 公式ドキュメントには、下記のように記載があります。 マルチステージ・ビルド は、中間レイヤとイメージの数を減らすのに苦労しなくても、最終イメージの容量を大幅に減少できます。 つまり、最終イメージの容量を減らすことが目的であって、その一つの手段としてマルチステージビルドを進めて
Googleの「Cloud Run」が正式サービスに。KnativeベースでDockerコンテナをサーバレスとして実行
Cloud RunはHTTPでアクセス可能なステートレスなサービスを提供するコンテナを、サーバレス環境で実行可能なサービスです。 すなわち、負荷がない場合にはサービスはまったく起動されず、負荷に応じて自動的にスケール。Dockerコンテナであれば、どんな言語で作られたサービスであっても関係なく利用できます。 課金もおよそ100ミリ秒ごとに、起動しているサービス数などによって計算されます。 また、Cloud RunはKubernetes上でサーバレスコンピューティング環境を実現するフレームワークとしてGoogleがオープンソースとして開発しているKnativeをベースにしています。 Anthos Cloud Runによりマルチプラットフォーム上でサーバレス Googleは、Kubernetesをクラウド基盤の抽象化レイヤとして用いることで、コンテナ化したアプリケーションをオンプレミスとクラウ
「当たり前に動いている」ネットワークを支える技術 - 冗長性を生み出すバックボーンの構成を、さくらインターネットに聞く - はてなニュース
レンタルサーバーやクラウド、ハウジングサービスといった、ネットワークの基盤を支えるサービスは、どんな時でも当たり前に稼働し続けることが求められます。しかし、この「当たり前」を実現するには、地震や台風といった、予測のつかないリスクへの備えが不可欠です。 さくらインターネットは、2018年9月に発生した北海道地震の際にも安定した運用を継続し、利用者に安心感をもたらしました。同社のサービスが安定運用を続けることができるのはなぜか？ 先日紹介したデータセンター運用に続き、今回はネットワークの安定運用に焦点を当て、同社の技術本部ネットワークグループの3名に聞きました。 ※この記事は、さくらインターネット株式会社によるSponsoredContentです。 石狩、東京、大阪を結ぶトライアングルネットワークが冗長性をつくりだす ネットワークの中の人が見る、トラフィックのいま ネットワークを「湯水のように
VSCodeの操作ミスでGCP Cloud Composerの裏側k8sをお掃除した話 - Qiita
tl;dr 筆者はvim派でVSCode初心者。でも勧められたので数カ月ぶりに起動してみた。 Pluginを色々入れていたので、サイドバーにはたくさんのアイコン。なにこれ楽しい。 Cloud Codeタブを触っていたら…指先が震えてトラックパッド誤操作。「Delete Cluster」を押してしまう。 その時たまたま偶然、GCPのオーナー権限を持つIAMで認証していた。 盛大にやらかして復旧が手間だったが、いくつかの理由で障害として顕在化しなかった。 というお話 何をやらかしたのか やらかし当時、筆者はGCPでデータ処理基盤の開発を行っていました。vimとzshが大好きで、開発のすべてをこの2つで済ませてましたが、同僚にVSCodeを猛プッシュされたので使ってみることにしました。 VSCodeは数ヶ月前にインストールしたもののそのときは結局使わず。数ヶ月ぶりの起動でした。 インストール時に
1年間のシステム運用を通して分かったIstioの嬉しさと活用における注意点 / Benefits and Usage Notes of Istio
English ver CloudNative Days Kansai 2019 #CNDK2019 日々複雑化するマイクロサービスを運用するにあたり，サービスメッシュ実装のIstioが注目を集めています。しかし，Istioの話題性・機能性とは裏腹に，仕様の複雑さやプラクティスの無さのため，実サービスへのIstio導入は依然として敷居が高いです。日立製作所では社内開発環境の提供のため，2000+PodのKubernetesクラスタにて1年に渡りIstioを使ったマイクロサービスの運用に取り組んできました。本講演ではこの運用を通して得たIstio利用時の問題やその対策といったプラクティスを紹介します。
オンプレミス版AWSの「AWS Outposts」、24インチ幅の専用ラックはキャスター付き、故障には部品交換で対応
オンプレミス版AWSの「AWS Outposts」、24インチ幅の専用ラックはキャスター付き、故障には部品交換で対応 Amazon Web Services（AWS）は6月20日、同社がオンプレミス向けに開発している「AWS Outposts」のハードウェア概要をYouTubeで明らかにしました。 AWS Outpostsは、AWSのクラウドインフラと同等のシステムをオンプレミスに持ち込み、パブリッククラウドと連係したハイブリッドクラウドを実現できるというもの。同社がクラウドの構築で培ってきた技術を基に、ハードウェアとソフトウェアが設計、開発されています。 AWS OutpostsはAWSのマネージドサービスで提供されるため、ユーザーは日常的なマシンの運用管理は不要。ユーザーはAWSの自分専用の新リージョンとしてAWSのコンソールからAWS Outpostsに対してプロビジョニングなどの操
先週の火曜日、3月12日に始まったPublickeyへのDDoS攻撃は今週日曜日、3月18日日曜日の早朝を最後に収まったようです。この記事執筆時点でPublickeyのサーバは平常に戻っています。 この間、読者や広告を掲載いただいているお客様や代理店様にご不便やご心配をおかけし申し訳ありませんでした。 DoS攻撃とは、大量のトラフィックをWebサーバなどに浴びせることでサーバを応答不能にしてしまう攻撃のことです。 前回の報告「Publickeyが受けたDoS攻撃、これまでの経緯と対策まとめ」の後、さらにいくつか対策を講じましたので、この記事では前回の報告以後の経緯と講じた対策を記したいと思います。 また、前回の報告では「DoS攻撃」と書きましたが、その後Publickeyのサーバをホスティングしているさくらインターネットのサポート担当の方から、今回の攻撃は分散した箇所から攻撃を受けていると
こんにちは。こむろです。 今年の札幌の夏はハードモードだ（湿気と暑さ） この先生きのこるためにエアコンが投入されました。 はじめに クラウドネイティブなアプリケーションを設計・構築・運用している皆さんは、普段どのようにアプリケーションやインフラの更新作業を行っているでしょうか。 順次インスタンスやコンテナを切り替えていくRolling Update？それとも環境を複製してDNS Routingの切り替えによるBlue-Green Deploymentでしょうか。他にも様々な方法があるかと思いますが、今回もまたBlue-Green Deploymentにおける実際の現場で発生した事象について報告したいと思います。 あまりネット上にもこういった情報が出てこないようなのですが、皆さんこういった問題は軽々とクリアされているのでしょうか。自分がポンコツなだけなのかととても不安にかられるばかりです。
メルカリのマイクロサービス/Kubernetes運用事例はバイブルだ - orangeitems’s diary
多くの人に見てほしいスライド メルカリのマイクロサービス/Kubernetes運用事例を拝見しました。 speakerdeck.com こちら、中身はメルカリにおけるマイクロサービス・Kubernetesの実際の運用状況をまとめた内容になっています。 この内容が欲しかった。 この世の中で、会社のITサービス基盤をKubernetesにてマイクロサービス化できている企業はほとんどいません。言い切ります。まだ仮想マシンのWEB+AP+DBの3層構成のままです。もしくは、AWS Lambraなどサーバレスでマイクロサービス化した事例は多数出てきていますがこれは基盤にKubernetesが使われている可能性はあるにしろ、ユーザーは意識していません。 Kubernetesをエンタープライズに適用する。このケースではGCEですが企業としてどのようなオペレーションになるのか、どういう思考錯誤があるのかが
24日未明、JR東日本でシステム障害が発生し、券売機などでクレジットカードが使えなかったり、「モバイルSuica」でアプリでのチャージができないなどの不具合が起きたりしましたが、会社は午後1時ごろまでにすべて復旧したと発表しました。 JR東日本によりますと、24日午前0時半すぎにシステム障害が発生し、駅の構内や駅ビルの店舗、それに駅の券売機やみどりの窓口でクレジットカードを使うことができなくなりました。 復旧作業を進めた結果、会社は午前10時15分ごろに復旧したと発表しました。 その後も運賃の支払いなどを行う「モバイルSuica」でアプリでのチャージができなかったり、ネット上で指定席などを予約する「えきねっと」が利用できなかったりする不具合が続いていました。 この不具合についてJR東日本は、発生から12時間余り後の午後1時ごろに復旧し、システム障害はすべて解消されたと発表しました。 JRに
レガシーシステムをDockerコンテナ化する場合に直面した4つの壁 - RAKUS Developers Blog | ラクス エンジニアブログ
こんにちは。 株式会社ラクスで先行技術検証をしたり、ビジネス部門向けに技術情報を提供する取り組みを行っている「技術推進課」という部署に所属している鈴木（@moomooya）です。 ラクスの開発部ではこれまで社内で利用していなかった技術要素を自社の開発に適合するか検証し、ビジネス要求に対して迅速に応えられるようにそなえる 「技術推進プロジェクト」というプロジェクトがあります。 このプロジェクトで「WEBアプリケーションのDockerコンテナ移行」にまつわる検証を進めているので、その中間報告を共有しようかと思います。 本検証での想定環境 CIに不必要な部分は後回し 既存アプリでコンテナ化の障害になった部分 OSコマンドを利用している ミドルウェアとの密結合 オンライン系とバッチ系の密結合 ひとまず目指す状態 プロセス相乗りの影響 ログが複数出力される まとめ 続きの記事も書きました。 tech
Socket Supply Co.
npm npm i @socketsupply/socket -g curl . <(curl -s -o- https://socketsupply.co/sh) iwr iwr -useb https://socketsupply.co/ps | iex Write Once, Run Anywhere Ship apps faster than anyone else using one skill set, and one codebase. You can even turn your existing web app into a native Socket app. Connect Everyone Our modern P2P protocol makes it possible for users anywhere in the world to communicate
ラズパイでもAmazon ECSを動かせる、「Amazon ECS Anywhere」が正式リリース。ラズパイやオンプレミスのコンテナ環境をAWSから集中管理可能
ラズパイでもAmazon ECSを動かせる、「Amazon ECS Anywhere」が正式リリース。ラズパイやオンプレミスのコンテナ環境をAWSから集中管理可能 Amazon Web Services（AWS）は、AWS上のコンテナ基盤サービスである「Amazon ECS（Elastic Container Service）」を、オンプレミスなど任意のサーバなどで実行可能にする「Amazon ECS Anywhere」の正式リリースを発表しました。 With Amazon ECS Anywhere, you can run and manage container-based applications on customer-managed infrastructure, including on-premises on your own virtual machines and bar
Kubernetesに対応した継続的デリバリツール「Razee」、オープンソースでIBMが公開。1万以上のクラスタを25人以下のスタッフで運用した経験を元に
IBMは、同社が1万以上のKubernetesクラスタを25人以下のスタッフで運用してきた経験を元に開発した継続的デリバリツール「Razee」をオープンソースで公開しました。 1万以上のKubernetesクラスタを効率よく運用するには 同社はIBM Cloud上でKubernetesのマネージドサービスを提供しており、これまでに10万以上のKubernetesクラスタを作成し、現在でも6つのリージョンにある35以上のデータセンターで、1万以上のKubernetesクラスタを運用中だとしています。 IBMの説明によると、これだけ大規模になると、Kubernetesを運用管理するためのコントロールプレーンもKubernetesクラスタ上で稼働させており、Kubernetesを運用するためにKubernetesを運用しているという状態。 この規模で、しかも急速に成長中のサービス運用を25人以下
Infra Study Meetup #3 「SREのこれまでとこれから」の発表資料です https://forkwell.connpass.com/event/176885/
Zero Touch Productionとは何か
GoogleのSREとSecurityによるBuilding Secure Reliable Systems という本の中で「Zero Touch Production (ZTP) 」という考え方が紹介されていた．これはインフラの権限管理やインフラの構築そのものの指針となる概念であり，自分がそうあるべきだとずっと思ってきた考え方でもある．これはどのような考え方なのか?をこれまでの歴史を踏まえて具体的なツールや事例とともにまとめておく． Zero Touch Production Building Secure Reliable Systems においてZero Touch Production (ZTP) は以下のように定義されている． The SRE organization at Google is working to build upon the concept of least
Google Cloud案件を1年半程度経験してみてAWSと比較しながら違いを整理してみた - NRIネットコムBlog
本記事は 【Advent Calendar 2023】 15日目の記事です。 🎄 14日目 ▶▶ 本記事 ▶▶ 16日目 🎅 はじめに 想定している読者 一覧 まとめてみて 参考 はじめに クラウド事業推進部の小野内です。昨年5月にキャリア入社してから早1年半以上が経ちました。 入社以降、AWS、Google Cloud のデータ分析基盤の開発・運用に関わっておりますが、現在はGoogle Cloud メインでやってます。 試行錯誤の毎日ですが、Google Cloud案件をどんどん盛り上げていきたい所存です。 1年ほど前の投稿記事では、 Google Cloudの学び方について触れましたが、本記事ではGoogle Cloud案件を1年半程度経験してみて、 AWSと比較しながら、Google Cloudの主要なサービスについて、違いを整理しました。 想定している読者 AWS案件に半年以
IPv6アドレススキャン攻撃:Geekなぺーじ
IPv4では、アドレススキャン攻撃やポートスキャン攻撃は日常的に行われています。 ファイアウォールなしの状態でグローバルIPv4アドレスに接続していれば、すぐに攻撃を観測できます。 IPv6でもアドレススキャン攻撃は発生しています。私の家のネットワークでも、IPv6でのアドレススキャン狙いと推測されるトラフィックを簡単に観測できました。 ただ、いまのところ、私の家では、実際に利用しているIPv6アドレスを外部から発見できているようなスキャンの形跡を発見できておらず、主にステートフルDHCPv6や手動設定でのIPv6アドレスを探しているように見えました。 やはり、IPv4と比べると、IPv6の方がIPv6アドレススキャン攻撃の難易度は高いのだろうと思います。 ということで、IPv6でのアドレススキャン攻撃や、その他方法によって、稼働しているIPv6アドレスをどのように探すのかに関して解説して
この記事は、ニフティグループ Advent Calendar 2020 最終日の記事です🎄 昨日は、@RPcat さんの 即フォーマットチェックにincronを使う でした。 ファイルの変更や操作を監視してくれるコマンドが用意されていることを知らなかったので、非常に勉強になりました。 はじめに 皆さん、サーバレスアプリケーションを作ろうと考えたときに選択するデータストアとして何を思い浮かべますか？ 多くの人が思い浮かべるのは、 Amazon DynamoDB Amazon RDS + Amazon RDS Proxy だと思います。 ただ、DynamoDBを使っているときに「使い慣れているSQLを使いたいなあ」と感じたり、個人でRDSを使うには「金額が高すぎるなあ」と感じることがあると思います。自分がそう感じていました。 そこで、これらの問題を解決する一つの選択肢として Amazon S
執筆者：IIJ ネットワーク本部 アプリケーションサービス部 DNS技術課 山口 崇徳 2023年11月、HTTPSレコードがRFC9460として標準化されました。 HTTP/3を支える技術のひとつで、WebサーバのDNSへの登録方法も変わります。 CNAME + MX + α の機能も備えています。 DNS / Web / ファイアウォール運用者はぜひご覧ください。
JR東日本は2023年6月24日、午前0時37分ごろから発生していたシステム障害は午後1時ごろにすべて復旧したと発表した。JR東日本によれば「詳しい原因は調査中だが、屋内電源設備の工事の際に誤って予定していなかったブレーカーを切ってしまったためと思われる」（コーポレート・コミュニケーション部門）という。 障害発生当初は、みどりの窓口や発券機でのクレジットカード利用ができなくなった。また交通系ICカード「Suica（スイカ）」をスマートフォンなどで使える「モバイルSuica」や、インターネット切符予約サービス「えきねっと」にログインできない状態だった。 交通系ICカード「PASMO（パスモ）」でも同日午前0時30分ごろに電源トラブルによる障害が発生し、午後1時14分ごろに復旧した。障害発生中はモバイルPASMOの利用や、ICカードの再発行／払い戻しができなかった。 関連記事 JR東日本でシス
この記事は「本番環境でやらかしちゃった人 Advent Calendar 2019」の7日目です。 qiita.com 個人の趣味でやっていたやらかしなので、あまり大した内容ではありませんがご容赦ください。。 背景 趣味で運用していたVPSのサーバをGKEに移そうとしていました。 段階的に移行を進めていたため問題が発生した時点ではapp群はVPSで動いており、Cloud DNSのみGCPに移行済みな状態でした。 なぜ起こったのか Firebaseのプロジェクトを消してしまい、それに伴ってGCP側のプロジェクトも消えてしまいました。 背景に記載した通り、段階的に移行を進めていたことと以下のような理由が重なり消した直後は気づいていませんでした。 HTTPアクセスによる外形監視を入れていなかったため、VPS上のサービスが接続不可になっていることに気づかなかった VPS上のプロセス監視(macke
Dockerコンテナをサーバレス化する「Google Cloud Run」で、非同期処理やバックグラウンドタスクなどが実行可能に
Googleは、Dockerコンテナをサーバレスで実行するサービス「Cloud Run」の新機能として、非同期処理などを可能にする「CPU allocation on Cloud Run」機能をプレビューとして発表しました。 非同期処理などが難しかったCloud Run サーバレスコンピューティングでは一般に、何らかのイベントやリクエストをトリガーにインスタンスが起動し、処理が終わるとインスタンスが終了します。 Google CloudのCloud Runではこうした処理をDockerコンテナで実現するサービスです。HTTPやgRPCなどによるリクエストによってあらかじめ用意されていたDockerコンテナが起動し、レスポンスを返したところでDockerコンテナが終了してCPUの割り当てが解放されるようになっています。 そのため、Cloud Runでは処理を非同期にしてレスポンスを先に返し、
Google、一人称視点シューティングや大規模多人数参加型ゲームなどの基盤となる「Google Cloud Game Servers」を正式サービスとして提供開始
Googleは、Google Cloud上の専用ゲームサーバサービス「Google Cloud Game Servers」を正式サービスとして提供開始しました。 「Google Cloud Game Servers」は、FPS（First Person shooter／一人称視点シューティングゲーム) や MMO（Massively Multiplayer Online／大規模多人数参加型オンラインゲーム）などを実現する基盤を提供するゲームサーバサービスです。 一般に、FPSやMMOなどでは、大量に存在するプレイ中のプレイヤーの状況を保持し、ゲームの進行に合わせてリアルタイムに更新、制御する機能がバックエンドサービスとして必要です。 こうしたバックエンドサービスはクラウドのユースケースとして代表的なものの1つとして、通常はゲームごとに個別に開発され、運用されてきました。 Google Cl
Google Cloud FunctionsがPHPをサポート開始。PHPでサーバレスの関数が記述可能に Google Cloud Platformにおけるサーバレスコンピューティング環境を提供するGoogle Cloud Functionsで、PHP言語のサポートがプレビューとして開始されることが発表されました。 Today we’re bringing support for PHP, a popular general-purpose programming language, to Cloud Functions. With the Functions Framework for PHP, learn how you can write idiomatic PHP functions to build business-critical applications & integra
PFNのML/DL基盤を支えるKubernetesにおける自動化 / DevOpsDays Tokyo 2021
Preferred Networks（PFN）は深層学習などの最先端の技術を最短路で実用化することで、これまで解決が困難であった現実世界の課題解決を目指しています。コンピュータビジョン、自然言語処理、音声認識、ロボティクス、コンパイラ、分散処理、専用ハードウェア、バイオインフォマティクス、ケモインフォマティクスといった幅広い分野で研究開発を行っており、それを支えているのが Kubernetes を用いて構築しているオンプレミス/ベアメタルの GPU クラスタです。 本セッションでは、PFN が Kubernetes を用いてクラスタを運用するなかでどのような障害が起きるのかを紹介し、また障害対応をどのように自動化しているのかを具体的に使用/開発したソフトウェアを含めてご紹介します。また Kubernetes クラスタの管理、アップグレードの自動化にも取り組んでおり、それを実現する Clus
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから いまから6年前の2014年、当時ようやくDockerコンテナが世の中に知られるようになってきた頃、Googleはすでに社内のすべてのソフトウェアをコンテナ化しており、毎週20億個ものコンテナをクラウド上で起動していると発表し、多くのエンジニアを驚かせました。 この大規模なコンテナの制御、すなわちオーケストレーションを行っていたのが同社内で「Borg」と呼ばれるソフトウェアです。 そしてKubernetesはこのBorgを基に、Googleがオープンソース化したコンテナオーケストレーションソフトウェアだとされています。 Borgの大規模分散コンテナ基盤でBigQueryが成立する このBorgによる大規模分散コンテナ基盤があるからこそ、BigQueryが安価に提供できるのだと、Google
内容 社内でAWS知らない人でもこれだけは覚えていてほしいという動画を作成して欲しいとリクエストあり。その内容を資料化したものです。小学生の子供に説明してみましたがになんとなくAWSが分かったと言っていたので今回は結構分かりやすくまとめられたと思います。 システムを構築する時 システムを構築する際、サーバやネットワークなどのインフラが必要になります。昭和の時代は物理サーバを買ってきてラックマウントしてネットワークに接続してと物理的な作業が多く発生していました。 その後、物理サーバの上に仮想的なサーバを作成できる仮想化技術の発展により、仮想サーバが主流となりました。最初に物理サーバを用意して、仮想化基盤を構築する必要があります。仮想化基盤構築後は、新しいシステムを作りたい場合はすぐに仮想サーバの準備を行うことができ、物理環境の時と比較すると大きな進展がありました。 仮想化基盤を自社で構築する
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
おうちKubernetes feat. cybozu-go/neco-apps - ぽよメモ
要注意！？本当に怖いCloudFront - Qiita
インフラエンジニア1年生がプログラミングを勉強するのに使った教材 - Qiita
ログを gzip で圧縮しているなら zstd を導入しよう - Qiita
最近のCloudflare Workers - ゆーすけべー日記
The Twelve-Factor App on AWS
コンテナのベストプラクティスに対しておこがましくも言ってみる - Qiita
続、Publickeyが受けたDoS攻撃、これまでの経緯と対策まとめ
Blue-Green Deploymentにおける注意点 | DevelopersIO
JR東日本システム障害すべて復旧 一時モバイルSuicaなど不具合 | NHK
SRE_Culture_Organization
サーバレスで扱うデータストアとしてS3という選択肢があるらしい - Qiita
DNSでHTTPS ※ただしDNS over HTTPSではない
JR東日本のシステムが復旧、電気工事で誤って切ったブレーカーが原因か
GCP Projectを消しちゃった話 - 839の日記
Google Cloud FunctionsがPHPをサポート開始。PHPでサーバレスの関数が記述可能に
GoogleがBigQueryを安価に提供できる理由は、Borgによる大規模分散コンテナ環境があるから
本当のAWS基礎 昭和～平成～令和の時代の変遷システムの変化と今昔物語 - Qiita