EKS on Fargate：virtual-kubelet の違い + Network/LB 周りの調査 - @amsy810's Blog
EKS on Fargate こんにちは。 サイバーエージェントの青山（@amsy810）です。 この記事は Kubernetes3 Advent Calendar の 4日目の記事です（EKS #2 にもクロスポストしています）。 re:Invent で EKS 関連の何かしらの発表がされることを見越して Advent Calendar を埋めたので、書くネタが見つかってホッとしています。 KubeCon 会期中に 「Managed Worker Node for EKS」 がリリースされ歓喜の声が上がりましたが、今回は re:Invent で 「EKS on Fargate」 がリリースされ歓喜の声が上がっているようです。 今回は EKS on Fargate のアーキテクチャを見ていきたいと思います。virtual-kubelet と近いと思ってますが果たして。 （EKS on Fa
SREチームで社内GameDayを実施しました
GameDayとは 起源はAWSが毎年行っているAWS re:inventの中で開催される行事の1つです。 チームを組んでクラウド・アプリケーションを襲う謎の障害や悪意のある攻撃に対処し、トラブルシューティング能力を競うコンテストとなっています。 のちに様々な企業が社内でも実施するようになり、今ではAWS Well-Architectedのセキュリティ項目でもその実施が推奨されています。 ゲームデーを実施する ゲームデーを実施する: さまざまな脅威について、インシデント対応イベントのシミュレーション (ゲームデー) を実施します。このゲームデーには、主要なスタッフや管理者を参加させてください。 教訓から学ぶ: ゲームデーの実行から得られた教訓は、プロセスを改善するためのフィードバックに含まれている必要があります。 GameDayの手順 今回社内で行なったGameDayの流れです。 1. 発
はじめに Terraformとは、「Infrastructure as Code」を行うツールで、例えば、AWSリソースをコードベースで作成できたりします。「Infrastructure as Code」を行うツールは、たくさんありますが、Terraformでは「モジュール」という機能があります。 このモジュールと言う機能は、ソースコードをテンプレート化して、パラメータを開発用と、本番用で分けることでソースコードを再利用しながら2環境つくれるような機能です。(ざっくり言うと) ただ、そのモジュールの構成について正解は無くネット上でも色んな構成であふれています。 なので、今回は、以下のAWSのCloudFormationのBlackBeltやGCPの記事を参考に、モジュールを使いテンプレート分割する(作成単位をアプリケーションやログとかの運用で分ける感じ)アーキテクチャでリソースを作成し、以
こんにちは、エムスリー エンジニアリンググループ / 製薬企業向けプラットフォームチームの鳥山 (@to_lz1)です。 この記事はエムスリーSREがお届けするブログリレーの8日目です。 このブログリレーで複数回言及されているように、エムスリーでは昨年から大々的に「チームSRE」という制度を導入しています。従来からのSREすなわち「コアSRE」が受け持っていた業務や権限を、各プロダクトチーム内のSREすなわち「チームSRE」に委譲している真っ最中です。 私の所属する製薬企業向けプラットフォームチーム（Unit1と呼ばれています）のチームSREの導入タイムラインは、以下のような感じです。 2020年4月に最初のチームSREが入社 2020年7月ごろに私を含む6名がチームSREとして追加 複数サービスのクラウド移行を実施しつつ今に至る したがって、少なくとも私のチームではこの「チームSRE」と
79,478 私の嫌いな数です。 さて、個人にとって79,478円はなかなか大きい金額だと思います。 一体どうやったらこのような金額を支払うことができるのでしょうか？ AWSを例にとって解説します。 この記事ははてなエンジニア Advent Calendar 2022の28日目です。 昨日は id:hagihala さんの ALB ターゲットグループのバランシングアルゴリズムを LOR にする - hagihala's blog でした。 破棄し忘れたAWSのリソースに半年間金を払い続ける方法 リソースの破棄を忘れる 日常的にコストを目にしないようにする コストアラートを受け取らない クレジットカードの請求明細を確認しない まとめ 破棄し忘れたAWSのリソースに半年間金を払い続ける方法 リソースの破棄を忘れる 人間はあらゆることを忘れる生き物です。 「リソースの破棄を忘れる」ことは簡単です
独学で未経験のモダンな技術を学習してポートフォリオを作るまで【Rails / Next.js / AWS / Docker / GitHub Actions】 - Qiita
独学で未経験のモダンな技術を学習してポートフォリオを作るまで【Rails / Next.js / AWS / Docker / GitHub Actions】RailsAWS初心者個人開発Next.js はじめに こんにちは！きいな(@keynyaan)と申します。 今回、モダンな技術を使って初めてポートフォリオを作ってみたので、開発背景や学習教材などを紹介します。 ポートフォリオを作るにあたって、色々な方の素晴らしいポートフォリオ作成記事が参考になったので、今度は私の記事が誰かのためになることを祈ってます。 自己紹介 大学卒業後、新卒でSIer企業に入社し、3年ほどJavaやJavaScriptなどを使って、バックエンドやフロントエンドのシステム開発を行っていました。 そんな私が自社開発企業に興味を持ち、退職を機に、2023年1月からポートフォリオ作成に向けて学習を始めました。 学習期間
Amazon CloudFrontはボディを含むGETリクエストに403(Forbidden)を返します | DevelopersIO
『Real World HTTP 第2版』で知ったのですが、GETリクエストにはメッセージボディを含めることができます。 より具体的には、HTTP/1.1の一世代前の仕様RFC2616 *1では、「サーバーはメッセージボディを読み込める必要はあるが、リクエストされたメソッドがボディのセマンティクスを定めていない場合は、リクエストの処理時にメッセージボディは無視されるべき」と書かれており、最新のRFC7231 *2では、「ペイロードのボディを持つことはできるが、実装によってはサーバーがこれを受け取らずに拒否することがありえる」と書かれています。(カッコ内は同書から引用) ALB は 何もせず、CloudFront は403を返す 意図せずリクエストが拒否されると困ります。 普段触れる機会の多い AWS のマネージドサービスがどのように振る舞うのか確認したところ、Application Loa
EKSコンテナ移行のトラブル事例：FargateにおけるAZ間通信遅延の解消 - MonotaRO Tech Blog
こんにちは！SREグループ コンテナ化推進チームの楠本です。 EKSへのコンテナ移行では、これまで紹介した記事以外にも様々なトラブルがありました。 EKSコンテナ移行のトラブル事例：ALBの設定とPodのライフサイクル管理 - MonotaRO Tech Blog EKSコンテナ移行のトラブル事例：推測するな計測せよ -CoreDNS暴走編- - MonotaRO Tech Blog 今回のトラブルでは、コンテナ移行に伴ってSLOが未達状態になりエラーバジェットを急激に消費してしまいました。 その対策としてマルチAZ間の通信遅延の解消をEKS on Fargateで実施したお話をご紹介します。 先に断っておくと私自身がアプリケーション開発者だったため、 インフラの話は都度インフラの方からサポートを受けながら対応しました。そのためズレている点などあればご了承ください。 VMからEKS on
[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO
こんにちは！新卒エンジニアのハウンです? AWS Summit Online Koreaが開催されたことで、韓国語のセッションレポートを投稿しました！日本の方々ともセッションの内容を共有できたらなと思い、日本語のレポートも残しておきます。 今回の記事は模範事例の「1000万ユーザーのためのAWSクラウドアーキテクチャの進化」セッションについてまとめます。 ※ 本記事で使用されているアーキテクチャ図は登壇資料をもとに修正されたものです。 登壇者紹介 Jongmin Moon Solutions Architect AWS Korea AWSグローバルインフラストラクチャーとサービス AWSは全世界22箇所のリージョンを運営 各リージョンごとに2つ以上のアベイラビリティゾーンを持っているので、他のサービスより可用性が高い リージョンと216のPoP(205のエッジローケーション, 11のリージ
![[レポート] 1000万ユーザーのためのAWSクラウドアーキテクチャの進化#AWSSummitOnlineKorea | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/e518b1f93dfdc31309838137b90da275a4352e91/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F05%2Faws-summit-online-korea.png)
クックパッドマートでサーバーサイドなどのソフトウェアエンジニアをしている石川です。 この記事では、クックパッドマートとは全然関係なく、私が正社員として新卒入社する前、2020 年初頭に技術部 SRE グループで就業型インターンをしていた際に実装したシステムについてご紹介します。 ALB のアクセスログ 弊社では AWS の Elastic Load Balancing (ELB) を多用しており、Application Load Balancer (ALB) が多くのウェブアプリケーションで利用されています。 ところで ALB はアクセスログを Amazon S3 に保存することができます。このアクセスログにはアクセス先の IP アドレスやリクエスト URL の他、レスポンスのステータスコード、レスポンスまでにかかった時間、User-Agent などの情報が記録されています。 これらの情報
はじめにこんにちは、Finatextでエンジニアをしている @s_tajima です。 Finatextでは、現在約40個のAWSアカウントを管理しています。 それぞれのAWSアカウントは、あるサービス専用になっていたり、いくつかのサービスが同居していたり、本番環境用だったり、開発環境用だったりと用途は様々です。 この中には、 証券ビジネスプラットフォームのBaaS を提供しているAWSアカウントも含まれます。 このBaaSに限らずとも、金融ドメインで広くサービスを提供しているFinatextでは、その基盤となっているAWSのセキュリティの管理が非常に重要になってきます。 今回は、弊社がAWSのセキュリティを担保するためにどんな運用をしているかというお話です。 既に複数のAWSアカウントを管理している方、特に管理はしているもののいまいち適切な状態になっていないと感じている方に読んでいただけ
2020年8月くらいのAWS最新情報ブログとかをキャッチアップする – AWSトレンドチェック勉強会用資料 | DevelopersIO
こんにちは、臼田です。 みなさん、AWSの最新情報はキャッチアップできていますか？(挨拶 社内で行っているAWSトレンドチェック勉強会の資料をブログにしました。 AWSトレンドチェック勉強会とは、「日々たくさん出るAWSの最新情報とかをブログでキャッチアップして、みんなでトレンディになろう」をテーマに実施している社内勉強会です。 このブログサイトであるDevelopers.IOには日々ありとあらゆるブログが投稿されますが、その中でもAWSのアップデートを中心に私の独断と偏見で面白いと思ったもの(あと自分のブログの宣伝)をピックアップして、だいたい月1で簡単に紹介しています。 もともと社内用のものなので、ゆるゆると眺めてください。なおいっぱいあります。最近はAWSのアップデート以外もいっぱい拾っています。 ちなみにAWSの最新情報をキャッチアップするだけなら週間AWSがおすすめですが、Dev
TL;DR 3行で。 シンプルで セキュアな Ruby on Rails on ECS by Terraform を作りました。 目次 はじめに 本構成のテーマ リポジトリ アーキテクチャ Terraform側のTips Rails側のTips さらなるカスタマイズ はじめに ここ数年、業務やプライベートで様々なパターンのRuby on Rails + AWS ECS構成を構築してきました。 例えば、構築したことがるパターンを要素ごとに列挙するとざっと以下のようになります。 フロント部分 ALBのみ CloudFront -> ALB assetsのみCloudFront ECS 起動タイプEC2 起動タイプFargate 2種の混在 デプロイパイプライン 全部GitHub Actions Capistrano + ecs-cli CodePipeline + CodeBuild Code
[アップデート] ALBでエンドツーエンドのHTTP/2サポートによりgRPCワークロードが可能になりました | DevelopersIO
本日のアップデートにより Application Load Balancer（以下、ALB）でエンドツーエンドのHTTP/2がサポートされ、加えて gRPC プロトコルが利用可能になりました。 Application Load Balancers enables gRPC workloads with end to end HTTP/2 support ALB でエンドツーエンドの HTTP/2 通信が可能に 以前より ALB は HTTP/2 に対応していましたが、ALB - ターゲット間の通信は HTTP/1.1 に変換されていました。そのため、エンドツーエンドでの HTTP/2 利用できませんでした。この仕様により、HTTP/2 をトランスポートに利用する gRPC を ALB で利用することは出来ないため、NLB または CLB を利用されていたかと思います。 今回のアップデートで
![[アップデート] ALBでエンドツーエンドのHTTP/2サポートによりgRPCワークロードが可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
こんにちは。SREチームの田中 （@kangaechu）です。リモートワークで座ってばかりの生活に危機感を感じ、昨年11月頃からランニングを始めました。最初は1キロ走っただけでヒイヒイ言っていたのですが、最近は10キロくらい走れるようになりました。運動は嫌いな方だったのですが、走るのが楽しいと思えるようになったのが一番の収穫かなと思っています。 今回はALB（Application Load Balancer）のログ検索について紹介します。 ３行で説明するよ AWSの公式ドキュメントの通りAthenaの設定をするとALBの過去ログが検索できない 正規表現をいい感じにすることで過去ログも検索できるようになった Athenaのテーブル作成、Terraformでできるよ crowdworks.jpのシステムログ検索: Athena システムのイベントを適宜記録し、利用状況の把握や障害時の調査、シ
こんにちは、WEAR部バックエンドブロックの小山とSREブロックの繁谷です。 WEARでは日々システムの信頼性を向上させるため改善に取り組んでいます。今回はその中でもSLOに基づいた改善について紹介いたします。 WEARリプレイスの歩み WEARでは2019年から本格的にリプレイスを開始しましたが、当初は専属のSREはおらずインフラ構築など緊急度の高いものをバックエンドのエンジニアや、プロダクト横断のSREが担っていました。 WEARのSREとして活動に割ける時間も短かったためSLI(Service Level Indicator)1やSLO(Service Level Objective)2の指標もありませんでした。WEARにおけるリプレイスの変遷についてはこちらのスライドに詳しく載せられているため、ご興味のある方は是非ご覧ください。 WEARの組織における課題 WEARでは2021年4
明けましておめでとうございます。 2023年9月にINGAGEにジョインしたSREチームのanecho108です。 さっそくですが本記事の内容に入りたいと思います。 弊社のサービスは、AWS上のオブザーバビリティを獲得する方法としてNew Relic を利用していましたが、 そこからDatadogに乗り換えました。 Datadogの導入は僕が主体で行っていましたので、その時に考えていたことや反省点をまとめました。 なお、Datadogを肯定するわけでも、New Relicを否定するわけでもございませんのであしからず。 なぜ乗り換えしようとした？ New Relicのコスト問題 日本語テクニカルサポートが受けられていなかった "僕"がオブザーバビリティの獲得に至っていなかった 周りにDatadogを使ってます勢が多い 日本リージョンがある そんなところへDatadogから営業メール Data
こんにちは、各位忘年してますか。弊社では新年会は1年に1回しか出来ないが、忘年会は1年に何度も出来るという説が出回っています。僕も8月頃に1度忘年してますが、まだまだやっていきましょう。ソーシャルゲーム事業部ゲーム技研の谷脇です。 この記事はTech KAYAC Advent Calendar 2019 Migration Trackの18日目の記事です。17日目はPush 通知送信エージェント Gunfish に FCM v1 API 対応を追加したでした。 この記事で話すこと モバイルゲームのマスタデータの管理ツールを今年作り直したよ やりたいことが複雑だからいい感じに設計したよ CLIでも動くしサーバレスでも動くよ この記事がakashicの概要が書かれたドキュメントじゃ！(社内向けの業務連絡) マスタデータの管理とは そういえば先日、マスタデータNight #1というイベントを開催
〜運用しやすいプレビュー環境を求めて〜 Gateway APIで作るサービスメッシュレスなプレビュー環境 - LIVESENSE ENGINEER BLOG
みなさん、プレビュー環境してますか？どうも、かたいなかです。 以前、記事や登壇でIstioベースのPreview環境の構築方法をご紹介しました。 made.livesense.co.jp 外向けに発表したものの、Istioの運用工数や学習コストがネックとなってしまい、実際の転職会議の開発環境の導入にはいたっていませんでした。 最近になってGateway APIの実装例も増えてきて、Istio以外にもプレビュー環境でのヘッダを元にしたルーティングの実現において、現実的な選択肢となりそうなツールが増えてきました。そこで、Gateway APIのEnvoyによる実装であるEnvoy Gatewayを用いて、サービスメッシュを使用しないプレビュー環境の構築を試してみたため、この記事では構成例をご紹介します。 なお、今回の記事の中ではプレビュー環境の説明等について前回の記事と同様の説明を再度する箇所
[アップデート] AWS Managed Rules for AWS WAF に匿名 IP リストのルールが追加されました | DevelopersIO
本日のアップデートにより、AWS 製のマネージドルール 「AWS Managed Rules for AWS WAF」 に匿名 IP リスト（Anonymous IP List) のルールが追加されました。 AWS WAF adds Anonymous IP List for AWS Managed Rules 何が嬉しいのか Anonymous IP List には、悪意のある攻撃の際に利用されやすい「匿名プロキシ(Anonymous Proxy)」、「Tor ノード(IP 発信元の匿名化)」、「VPN」、「ホスティングプロバイダー」からのリクエストをブロックするルールが含まれています。 アプリケーションから身元を隠そうとしている Web リクエストを除外する場合に利用できます。これらのサービスの IP アドレスをブロックすることで Bot や、CloudFront などで設定された地域
![[アップデート] AWS Managed Rules for AWS WAF に匿名 IP リストのルールが追加されました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/a40565a486672c7039cb5c926f432f33218cbc0e/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-waf.png)
入門 EKS on Fargate - Qiita
プロダクションで EKS on Fargate を(できるだけ)使うことを目標に EKS on Fargate に入門します。 Managed Node Groupとの使い分けなどについてもまとめます。 ※ 本記事は 2019/12/14 時点の情報に基づいています。 Fargate、EKS on Fargateとは FargateはAWS上で「仮想マシンの管理なしにコンテナをデプロイできるサービス」です。 元々はAWS独自のコンテナオーケストレーションシステムであるECSの一機能と思われていましたが、EKS on Fargateが登場した今では、「ECS・EKSどちらでも動く、コンテナ化されたワークロード向けのサーバレスコンピュートエンジン」という体でブランディングされているようです。Fargateの公式ページ冒頭でも以下のように紹介されています。 AWS Fargate is a se
多様なプロダクトが存在する freee における health check 標準化 - freee Developers Hub
こんにちは。freee の Platform Solution チーム1 に所属している nkgw （Twitter） です。 この記事は freee 基盤チーム Advent Calendar 2023 の 15 日目の記事となります。 普段は、エンジニアリングマネージャーをしつつ、新規プロダクトのリリースサポートとか、プロダクトのキャパシティプランニングやコンピューティングリソース調整などをやってました。 今回、freee のプロダクトにおける health check の標準化について取り組みました。health check の要件と非標準化がもたらす具体的な問題を整理しつつ、freee では実際にはどのように health check を定義したのかを紹介します。 その前に... 詳細な内容の前に、弊社のような複数のプロダクトが相互に依存関係があるような環境下における health
Route 53とCloudFrontを使った中国ユーザーためのパフォーマンス最適化 | Amazon Web Services
Amazon Web Services ブログ Route 53とCloudFrontを使った中国ユーザーためのパフォーマンス最適化 中国は、グローバル企業にとって重要な市場です。グローバルにビジネスを展開する企業もスタートアップ企業も、中国で拡大するユーザー市場に参入する方法を模索しています。お客様のクラウドジャーニーを加速し、新しい市場に迅速に進出できるよう、2016年に AWS 中国（北京）リージョンが、2017年に AWS 中国（寧夏）リージョンが開始されました。これらのリージョンは、お客様が中国本土でサービスを提供する際に最高の体験を提供します。 最近、中国で Amazon Route 53 がローンチされたことにより、お客様は中国のエンドユーザーに高パフォーマンスのサービスを提供するための強力なツールをまた一つ手に入れました。Amazon Route 53 は、可用性と拡張性に
grpc-gateway を実運用で使うための追加実装｜Dentsu Digital Tech Blog
電通デジタルでバックエンドの開発をしている平沼です。 Dentsu Digital Advent Calendar 2020 の 18 日目の記事になります。前回の記事は「Micro Frontends 導入の覚書」でした。 弊社では、社内 / グループ会社向けのデジタル広告運用実績管理システムのバックエンドサービスに gRPC を利用しています。また Web などから HTTP によるアクセスができるように、 gRPC から HTTP に変換して API を提供する grpc-ecosystem/grpc-gateway も利用しています。 grpc-gateway を利用するとき、 README.md 通りの使い方ではサービス運用上困ることがあります。今回はそのうち下記 3 点を取り上げて対応方法を紹介します。 ・grpc-gateway サーバ自身のヘルスチェックをしたい ・認証情報
Cognitoと他の認証を協調させるような作り方はできるか 清水崇之氏（以下、清水）：視聴者のみなさんから1つ質問がきています。「Cognitoと他の認証を協調させるような作り方はできますか」という質問について、いかがですか？ 福井厚氏（以下、福井）：はい。これもCognitoがフェデレーションの機能を持っています。例えばFacebookやGoogle ID、あとはSAM認証をサポートしているような他のIdPと連携させて認証することができるようになっています。そういう複合というか、組み合わせで認証させることも可能です。 清水：ありがとうございます。 中村航也氏（以下、中村）：Deletion Policyの話に関係しますが、Cognitoのユーザー情報、DynamoDBに退避させておいて、いざという時に復旧できるようなアプローチがあるとしたら、そのDynamoDBはCognitoのスタック
RedashをFargate, Datadog, Terraformで構築/運用する - Timee Product Team Blog
こんにちは、タイミーSREチームの宮城です。 今回は弊社がRedashをFargateで構築/運用している話を紹介します。 背景 タイミーでは、CSやセールスのKPI策定から毎月の事業数値に至るまで、Redashが様々な用途で活用されています。 Fargateで構築する以前はEC2上のdocker-composeで運用されていましたが、以下の課題がありました。 オートスケールできないため、クエリが詰まってCPUが100%になってサービスが停止する。 その度slack上から再起動していた セットアップしたエンジニアが退社しており、インフラ構成図やノウハウの共有、IaCによる管理ができていない。 クエリやダッシュボードなどのデータの定期的なバックアップができていない。 v7系からv8系へのアップデートがしたいが、アップデートによる影響範囲がわからず恐怖感がある。 事業に大きく関わるサービスなの
サービスの一般公開前からSLI/SLOと向き合う - Hatena Developer Blog
Mackerel チームで SRE を担当している id:taxintt と申します。 はてなの SRE が毎月交代でブログ記事を書く Hatena Developer Blog の SRE 連載、3月分は私が担当します。2月の記事は id:masayosu さんの はてなにおけるEKSの運用と自動化 (2024年版) でした。 私が所属する Mackerel 開発チームでは、SaaS 型サーバー監視サービスである Mackerel を開発しています。 Mackerel は、テレメトリデータの計装・収集の標準化を目的としたプロジェクトである OpenTelemetry 対応のための開発を進めています。この記事では、OpenTelemetry のメトリックを扱うサブシステムの開発における SLI/SLO の決定・運用についてお話しします。 mackerel.io OpenTelemetry
【海外版リリース記念】サーバーサイドKotlin、gRPCを中心とした「SEVEN’s CODE－セブンスコード－」のバックエンド技術
HOME ブログ サーバー , Kotlin 【海外版リリース記念】サーバーサイドKotlin、gRPCを中心とした「SEVEN’s CODE－セブンスコード－」のバックエンド技術 【海外版リリース記念】サーバーサイドKotlin、gRPCを中心とした「SEVEN’s CODE－セブンスコード－」のバックエンド技術 2020.01.27 こんにちは、バックエンドエンジニアの竹端です。 去る2020年1月23日、弊社のゲームタイトルSEVEN’s CODE－セブンスコード－が全世界に向けて配信されました。 こちらのタイトルは昨年10月に日本では既にリリースされており、ここ数年アプリボットで取り組んできたサーバーサイドKotlin、gRPCを中心とした技術基盤で作られたタイトルです。 昨年開催されたCEDEC 2019のセッションでも、事例としてお話しさせていただきました。 https://s
ALB配下のApache HTTP Serverに対して脆弱性(CVE-2021-41733)の再現ができない理由をNGINXの挙動から考えてみた | DevelopersIO
ALB配下のApache HTTP Serverに対して脆弱性(CVE-2021-41733)の再現ができない理由をNGINXの挙動から考えてみた ALBの実装はわからないのであくまで考察となります。 ALBについて考えてみたと謳っていますが、メインはNGINXのソースリーディングです。 少し長いですが、AWS環境でパストラバーサル攻撃の検証を行う際には頭の片隅に入れておくと良いかもしれません。 背景 2021/10/5にApache HTTP Server(以下Apache)の脆弱性が報告されました(CVE-2021-41733, CVE-2021-42013)。 Apacheの2.4.49および2.4.50においてパストラバーサル攻撃およびリモートコード実行の可能性があります。 ※Amazon Linux2でyum経由でインストールすると2021/10/11時点では2.4.48がインス
クラウドネイティブ技術を日本にも浸透させることを目的に開催された「CLOUDNATIVE DAYS Spring 2021 ONLINE」。ここでアイレット株式会社の古屋氏が登壇。「うんうん、それ（EC2+ASG）もまたCloudNativeだね」をテーマにCloudNativeについて紹介します。 みなさん、CloudNativeしていますか？ 古屋啓介氏（以下、古屋）：それでは「うんうん、それ（EC2+ASG）もまたCloudNativeだね」ということでお話しします。私は古屋と言います。アイレット株式会社のcloudpackに所属していて、ふだんはAWSやGoogle Cloudとイチャイチャするのが仕事です。 さてみなさん、CloudNativeしてますか？ CloudNativeとは。CLOUDNATIVE DAYSに参加したことがある方なら、何回か見ていると思いますが、これはC
真のサーバーレスアーキテクチャについて語り、最新のエッジコンピューティングや生成系AIのサーバーレス実装を学び、クラウドネイティブで高速な開発プラクティスと向き合う2日間「ServerlessDays Tokyo 2023」。ここで登壇したのは、日本マイクロソフト株式会社の坂部氏。LLMアプリ開発における、「Azure OpenAI Serviceリファレンスアーキテクチャ」の活用について発表しました。 登壇者の自己紹介とアジェンダ紹介 坂部広大氏：「Azure OpenAI Serviceリファレンスアーキテクチャからみる、本番システムレベルのLLMアプリに必要な検討項目の解説」というテーマで、日本マイクロソフトの坂部と申します。時間としては25分、お付き合いいただければと思います。それではよろしくお願いします。 （会場拍手） 「このセッションでわかることと、話さないこと」ですね。今回の
2023 の振り返り
2024 年に書いてる時点で全然収まってないけど 2023 を振り返る。せっかくブログもオーバーホールしたので…。10 年ぶりとかなのでここしばらくの内容も含んでる。 仕事 引き続き同じ会社にいて 11 年目くらい。ここ 5 年くらいは Platform Engineering、Security、Corporate Engineering (情シスとか IT ともいう) のエリアに跨った仕事をして、各々のエリアへ貢献したり、はたまた全社に影響する成果を出したり。UK を本拠とするグローバル事業の組織、日本の組織ともに見ていて、今の仕事は 4 割くらい英語。 今年は波乱の 1 年だった。2 度にわたる退職勧奨やレイオフ、創業者が社長に戻る、オフィスを横浜から東京に戻すことが決まる、去年(全てが起こる前に)交代した CTO もいなくなることになる…など。 この影響で退職を決断したメンバーも多か
施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog
こんにちは、アンドパッドSWEの あかりです。 最近子供が産まれて、よく抱っこ写真を撮るのですが、写真を振り返るといつも自分だけ同じ服装をしているのを少し恥ずかしく思ってきた今日この頃です。 ちなみに、息子は毎曜日服装が違うほど服を持っていて、家族一のおしゃれになっていますw 1. 概要 最近、アンドパッドで最も古くから稼働している施工管理サービスについて、その非同期処理基盤をBlue/Greenデプロイ化しました。このデプロイフローの変更は大きく2段階を踏んで実現しています。本記事では、その後半部分の「非同期処理基盤を実際にBlue/Greenデプロイ化した話」について説明します。前半部分に当たる、非同期処理基盤から定期実行ジョブの処理基盤を抽出・分離した話についてはこちらの記事をご参照ください。 2. 前提の説明 施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました
![施工管理サービスの非同期処理基盤をBlue/Greenデプロイ化しました[後編] - ANDPAD Tech Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8745fec23b70fa77e165c822bc1bb1c4f48e6a16/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fa%2Farm4%2F20230209%2F20230209121742.png)
gitでコミット(commit)前にterraform fmtやtflintを実行したい時はpre-commit-terraformが便利 | DevelopersIO
gitでコミット(commit)前にterraform fmtやtflintを実行したい時はpre-commit-terraformが便利 「ローカルでもterraform fmtやtflint・tfsecの実行を自動化したい。」 terraformにはコードのフォーマットやテストに便利なcliツールやコマンドが色々あります。 (terraform fmt、terarform validate、tfsec、tflint等) ただ、このコマンドを毎回手動で実行するのは面倒です。 CI/CDツール上で実行するのもいいですが、CIで失敗する前にローカルで気づけたらより良いですよね。 そんな時に便利なpre-commit-terraformを紹介します。 pre-commit-terraformとは pre-commitフレームワークで使用できる Terraform の git hook スクリプ
こんにちは、SRE部の谷口（case-k）です。 本記事では、EC2 Image Builderを使いRedashの運用改善を行った事例をご紹介します。運用しているRedashについてご紹介し、その後、Redashの運用課題に対してEC2 Image Builderでどのように解決したかTipsも踏まえご紹介します。 余談ですが全国どこでも働けるようになったので沖縄に住めています(感謝！) https://press-tech.zozo.com/entry/20210118_zozotechpress-tech.zozo.com 目次 目次 運用しているRedashの紹介 役割 インフラ構成 クエリ実行の流れ EC2インスタンス起動時の処理 Redashの運用課題 EC2 Image Builderによる課題解決 EC2 Image Builderの紹介 各リソースのTips 事前準備 コ
34位でフィニッシュ。 isucon.net 棄権を合わせると予選突破に200イスコインちょっと足りなかった。 ハイスコアは9850だっただけにあと1つなにかできれば予選を突破できてたことになる。 当日の流れは id:sugyan さんが用意してくれてるのでそっちを読んでほしい。 memo.sugyan.com ここからはただただ、自分に対する反省をまとめる。 主な担当であるインフラについての反省 準備したつもりでも準備不足だった。 複数台構成、普段RDSやALBに甘えている弊害が出て、Nginxやアプリケーションの複数台構成のやり方を知っているが普段していないので詰まったって感じ。具体的にはMySQLに接続できなくて時間をかけた。 あとnginxのチューニング、特にルーティングで配信をまとめるみたいなところもかなり時間をかけてしまった。 普段、S3とCFにURLをすれば良いって感じで生き
はじめに こんにちは。レンティオの開発チームです（今回は長文となるため複数メンバーの合作でお届けします） レンティオでは、Infrastructure as Code ツール（Architecture as Code[1]と書くべきでしょうか）を Convox から AWS Copilot に移行するプロジェクトが今年6月ごろからスタートし10月に無事本番稼働が実現できました。 この記事では意思決定の経緯や切り替えにあたって工夫したこと、諦めたことなどを少し共有できればと思います。 サービス移行の話が中心ですが、初めて Copilot を導入する方も参考になる部分があると思いますのでぜひご覧いただければと思います！ ありがとう Convox 😉 レンティオではかなり前からコンテナ化されたアプリケーションを Amazon ECS で運用していて、アプリケーションで利用するリソース類（Ama
ECSの新ネットワーク機能「Service Connect」がリリースされました！ #reinvent | DevelopersIO
マイクロサービスを実装する時、アプリケーションコード以外にも、他のサービスの健全性把握や名前の管理、それらをどのようにコンテナで運用するか、課題は多いものです。 今回新しくリリースされた「Service Connect」はECSのネットワークに関する新機能です。 Amazon ECS introduces Service Connect 任意の名前をサービスに付与して接続 エンドポイントのヘルスチェック対応 コンソールやCloudWatchによる豊富なメトリクスの提供 自動接続ドレインのサポート など、ECSでマイクロサービスを運用する場合に必要なネットワーク機能が揃っています。 この記事では、まずは速報でService Connectの新機能を皆さんに紹介できればと思います！ （祭） ∧ ∧ Y ( ﾟДﾟ) Φ[_ｿ__ｙ_l〉 ECSﾏﾂﾘﾀﾞﾜｯｼｮｲ |_|＿| し'´
はじめに お疲れ様です。yuki_inkです。 この度、Microsoft Certified: Azure Fundamentals（AZ-900）に合格しました。 私は仕事上AWSに携わることが多くAWS認定資格も保有していますが、他のパブリッククラウドは未経験でした。 しかし世のトレンドはマルチクラウド。 シェア第２位のAzureもやっとくかぁと思い、受験に至りました。 AWSとAzureってサービスの内容に大きな違いはないやろ？ サービスの名前が違うだけやろ？ ・・・と上司に言われ、自分でもそう思っていました。 ですが、いざ勉強してみると、そんなことはなかったです。 AWSでは提供されていないようなサービスもありましたし、似ているけど使い方が微妙に違うようなサービスもありました。 AWSの考え方が染み付いている私にとって、Azureの学習は異文化交流のようなものでした。 本稿では、
こんにちは、上野です。 2020年のAWS re:Inventで発表されたAWS Proton、以下のハンズオンを参考に色々触ってみました。（作者の山口さんありがとうございます！） AWS Proton で ECS Fargate のアプリケーション実行環境を作ってみようハンズオン これは実際の本番運用で使用できるのでは？という良いポイントがけっこうあったので、まとめてみます。 AWS Protonとは AWSでは「コンテナおよびサーバーレスアプリケーションのための初のフルマネージドデリバリーサービス」と紹介されています。 私の感想としては、プラットフォーム管理者とアプリケーション開発者の境界線を明確にし、各担当者が管理する範囲をテンプレートおよび世代管理できるサービスです。この管理をAWSマネージドでできるため、負荷を下げながら整理されたデリバリー構成を維持できるようになります。 説明だ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Terraformでモジュールを使いテンプレート分割する場合のアーキテクチャ - Qiita
チームSRE立ち上げ期にやってみて良かったこと - エムスリーテックブログ
破棄し忘れたクラウドリソースに半年間金を払い続ける方法 - koudenpaのブログ
今すぐ ALB のアクセスログをクエリする - クックパッド開発者ブログ
FinatextにおけるAWSのガードレール戦略の紹介
シンプルでセキュアなRails on ECSのTerraformによる実装 - Qiita
AWS AthenaでALBのログを過去分も検索する - クラウドワークス エンジニアブログ
WEARにおけるSLOを用いた信頼性改善の取り組み - ZOZO TECH BLOG
New RelicからDatadogに乗り換えした話 - インゲージ開発者ブログ
新マスタデータ管理システムakashicの開発 - KAYAC engineers' blog
「Cognitoと他の認証は協調できる？」「環境を分けた場合の振り分けは？」 AWSソリューションアーキテクトが回答する認証・認可のQ＆A
うんうん、AWSのEC2+ASGもCloudNativeだね 人が考える余地を減らすことこそ“CloudNative”だ
「Azure OpenAI Serviceリファレンスアーキテクチャ」活用の最初の一歩 リリースレベルのLLMアプリに必要な検討項目とは
EC2 Image Builderを用いたRedashの運用改善 - ZOZO TECH BLOG
予選敗退から学ぶISUCONの正しい歩き方 - そーだいなるらくがき帳
レンティオの本番環境をAWS Copilot/Fargate構成に切り替えた話
AWSエンジニアのためのAzure Fundamentals対策 - Qiita
AWS Protonを使用した本番運用を考える - NRIネットコムBlog