エムスリーエンジニアリンググループ製薬企業向けプラットフォームチームの三浦 (@yuba)です。普段はサービス開発やバッチ処理開発をメインにやっておりますが、チームSREに参加してからはこれに加えて担当サービスのインフラ管理、そしてクラウド移行に携わっています。 今回はそのクラウド移行の話そのものではないのですが、それと必ず絡んでくるインフラ設定に関してです。 アクセス元IPアドレスを知りたい Webアプリケーションがアクセス元IPアドレスを知りたいシーンというのは、大まかに二つかと思います。ログ記録用と、アクセス制限ですね。どちらもアプリケーションそのものではなく手前のWebサーバの責務のようにも思えますが、そうとも言い切れません。動作ログ、特に異常リクエストをはじいた記録なんかにセットでIPアドレスを付けたいとなるとアプリケーション要件ですし、アクセス制限についてもマルチテナントサービ
スラッシュの有無だけでセキュリティにとんでもない大穴が空いてしまうNginxのありがちな設定ミスについて実例を踏まえて専門家が解説
多機能なウェブサーバーとして2004年に登場したNginxは、2023年6月時点では業界トップシェアとなるほど人気を集めるサーバーです。そんなNginxの設定において、スラッシュを一つ付けるか付けないかの差で大きなセキュリティホールができてしまう問題について、大手パスワードマネージャーやGoogle製のツールの例をとりあげてセキュリティアナリストのダニエル・マツモトさんがブログで解説しています。 Hunting for Nginx Alias Traversals in the wild https://labs.hakaioffsec.com/nginx-alias-traversal/ Nginxの設定には、特定のURLへのアクセスをどう処理するべきかを記述できる「location」というディレクティブが存在しており、URLをサーバー内のファイルに対応させるのによく利用されています。例
AWS側の目線から理解する、Google Cloud ロードバランサの世界 - How elegant the tech world is...!
はじめに お久しぶりです、iselegantです。 今回はAWSアーキテクトの目線から、多様なGoogle Cloud Load Balancingの世界を紹介してみたいと思います。 昨今、担当業務やプロジェクトによってはAWSのみならずGoogle Cloudを活用したり、マルチクラウドとして両方扱うエンジニアの方も多くなってきたのではないでしょうか？ 特に、SI企業に所属する人においては、担当プロジェクトや業務、お客様が変われば利用するクラウドサービスも変わる、なんてこともよくあると思います。 私もその道を辿ってきた一人です。 現在ではクラウドサービス間においてもある程度のコモディティ化が進んでおり、ある一つのクラウドサービスに精通すると、他のクラウドサービス利用時におけるメンタルモデルが出来上がり、システムを構築する際に前提の知識や経験が大いに役立つはずです。特にAWSはサービスの幅
AWSにおけるALB&NLBのBlue/Greenデプロイメント設計 - How elegant the tech world is...!
はじめに どうも、iselegant です。 前回、執筆した商業誌について本ブログで紹介させていただいたところ、大変多くの反響がありました。 コメントをくれた方、書籍に関心を持っていただいた方、本当にありがとうございます🙇 AWSコンテナ設計・構築[本格]入門 | 株式会社野村総合研究所, 新井雅也, 馬勝淳史, NRIネットコム株式会社, 佐々木拓郎 |本 | 通販 | Amazon 本日から少しの間、分量調整と締め切りの都合上、商業誌では執筆しきれなかった AWS 設計に関するサイドトピックについて、本ブログ上でご紹介したいと思います。 今日はALB (Application Load Balancer) と NLB (Network Load Balancer) の Blue/Green デプロイメントに関する設計がテーマです。 AWS で Web アプリケーションの可用性とパフォ
[激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ | DevelopersIO
AWSエンジニアは朝5時に起きるらしいと聞いていましたが、まさか自分がそっち側に回るとは思ってもいなかったもこ@札幌オフィスです。 とうとうきてしまいました！ とうとう、ALB一つだけでターゲットグループの重み付けが出来るようになってしまいました！！！！ Application Load Balancer simplifies deployments with support for weighted target groups New – Application Load Balancer Simplifies Deployment with Weighted Target Groups 従来までのBlue/Green(カナリアリリース) デプロイ方法 重み付けをしてトラフィックの数パーセントを新しい環境に流すような場合は、複数のロードバランサーを用意した環境で、Route53にて重み付
![[激アツアップデート]ALBだけでカナリアリリース(重み付け)ができるようになりました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/876809e40a16193d45c580a01a3f67fc9a50a044/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Felastic-load-balancing.png)
ALB経由で公開するAPサーバに(リバースプロキシ用の)Webサーバーを利用する意味はあるのか？立ち止まって考えてみた | DevelopersIO
まずは、リフト＆シフトのリフトだ。オンプレ環境の構成を変えずにAWSでリプレイスするぜ。 静的コンテンツの処理はWebサーバーに任せてアプリケーションサーバーの負担を減らす構成だな。 次はシフトだ。だが大きくは変えない。静的コンテンツを外だしするところから始めよう。 あれ？Webサーバー(Nginx)っているんだっけ？？ALBではログも取れるし最近はでできることも多いよね？ [新機能] HTTPヘッダーやクエリ文字列などなどでルーティングができちゃう!!AWS ALBで高度なリクエストルーティングが可能になりました! 待てよ待てよ。将来的にはSPAで実装する方法も検討しているんだった。その場合はいらないでいいよね？ ということを社内チャットで呟きました。いくつか意見が出てきたのでこのブログにまとめます。 先に結論 コンテンツ（html）をAppサーバーで作成する場合、あったほうが良さそう
Load Balancers plays a key role in Web Architecture. They allow distributing load among a set of backends. This makes services more scalable. Also since there are multiple backends configured the service become highly available as load balancer can pick up a working server in case of a failure. After playing with professional Load Balancers like NGINX I tried creating a simple Load Balancer for fu
ALB（Application Load Balancer）がボトルネックになっていたか確認する方法を教えてください | DevelopersIO
困っていた内容 ALB（Application Load Balancer）への急激なアクセス増加により処理が遅延し、一時的にサーバーエラーとなる事象が発生しました。ボトルネックが ALB 側か、もしくはバックエンドサーバー側かを切り分けたいのですが、ALB の性能限界に達していたか確認する方法を教えてください。 どう対応すればいいの？ ALB は負荷状況に応じて内部的にスケーリングが行われるため、最大接続数などの情報は非公開となっています。 そのため ALB の性能限界を明確に確認することはできませんが、以下 (1) ～ (3) の指標を確認することで、ALB もしくはバックエンドのどちらがボトルネックになっていたかを推測できます。 (1) 当該時刻に ALB のスケーリングが行われていたかを確認する ALB への接続数が物理ノードの限界に達すると自動的にスケーリングが行われ、その際には
Load Balancing
Past a certain point, web applications outgrow a single server deployment. Companies either want to increase their availability, scalability, or both! To do this, they deploy their application across multiple servers with a load balancer in front to distribute incoming requests. Big companies may need thousands of servers running their web application to handle the load. In this post we're going t
[新サービス]セキュリティ製品等の新しい展開方法が可能なAWS Gateway Load Balancerが発表されたので調査してみた | DevelopersIO
こんにちは、臼田です みなさん、セキュリティ対策してますか？(挨拶 今回は新サービスの紹介です。AWS Gateway Load Balancer(GWLB)というサービスが登場しました。 私はRSSで流れてきたこの名前を見て、「新しいロードバランサーが出てきたのか、へー」と思ってしばらく流していたのですが、いざ中身を読んでみたらめっちゃセキュリティに関係するアップデートでした！以下がリリースです。 Introducing AWS Gateway Load Balancer 概要 さっくり説明すると、サードパーティのセキュリティ製品などをAWS上で利用する場合、従来ではNLBを挟んだり、VPC PeeringやTransit Gatewayなどでネットワークをつないでルーティングしたり、NATして連携したりしていたところを、GWLBとGateway Load Balancer Endpoi
はじめに 最近、AWSのシステム構成図を見ることが多くなり、AWS上で動いているシステムのシステム構成図を理解できるようになるために個人的に知っておきたいと思ったAWSの用語・サービスをまとめてみました。 私自身も勉強がてら作成したので、わかりづらい部分も多くあると思いますが、AWSのサービス全くわからん→なんとなく雰囲気把握した、となっていただけたらと思います。 2018年10月に新しくなったAWSアーキテクチャアイコンを使用しています。 サーバ・クライアントなどの説明についてはここではしていませんが、以下の記事でとてもわかりやすくまとめてくださっています！ 超絶初心者のためのサーバとクライアントの話 知っておきたい用語 リージョン AWSがサービスを提供している拠点（国と地域） リージョン同士はそれぞれ地理的に離れている（例えば日本とオレゴンとか） 日本はap-northeast-1（
Application Load Balancer-type Target Group for Network Load Balancer | Amazon Web Services
Networking & Content Delivery Application Load Balancer-type Target Group for Network Load Balancer Application Load Balancer (ALB) is a fully managed layer 7 load balancing service that load balances incoming traffic across multiple targets, such as Amazon EC2 instances. ALB supports advanced request routing features based on parameters like HTTP headers and methods, query string, host and path b
皆さんは、日々の運用の中で発生するログについてどのように管理していますでしょうか。 ログを周期的に圧縮してサーバ内に保存し、かつ一番古いログを削除（ログローテーション）する ログを定期的にクラウド内の外部ストレージに転送して管理する（CloudWatchエージェント / Fluentd / etc.....） など、考えれば考えるほど様々な案が上がります。 今回はログ転送において、私が実際に業務の中でぶつかった問題について紹介します。 本記事の概要としては、下記になります。 AWS Network Load Balancer + syslogを用いた負荷分散を構成する際には、意図した負荷分散が正しく行えているか確認するべきである。 送信元サーバで定期的にAWS Network Load Balancerへ再接続する設定を加えることで、送信先サーバの偏りの緩和や、耐障害性の向上ができる。 今
Universal Application にありがちな LB ガチャ問題を解消する #awswakaran_tokyo / Resolve LB mistake in Universal Application
2019年07月22日に #awswakaran_tokyo でのセッションスライドです。
この記事は Microsoft Azure Tech Advent Calendar 2019 の 18 日目の記事です。 今日は、Azure の裏側の話、データーセンター (DC) を支える、Ananta1 と呼ばれる Software Load Balancer (SLB) アーキテクチャを紹介したいと思います。 はじめに 紹介の前に、まず最初に断っておかなければならないのは、Ananta が提案されたのは 2013 年であり、今から 6 年以上も前であるということです。当然、現在の Azure の DC で動いているロードバランサー (LB) は Ananta ではなく、以下のような多くの技術2を含む、改良を加えたバージョンのものです 。 Duet [R. Gandhi, et al. 2014] 3 : Ananta の論文が公開された翌年 2014 年に提案。SLB である An
created と mountedどちらもVuejsが提供するライフサイクルフック。たいていのサンプルでは、このライフサイクルフックのどちらかでAPIアクセスをするが、どんな違いがあるんだろう。 created インスタンスの初期化が済んで props や computed にアクセスできるDOMにはアクセスできないmounted created + DOMにアクセスできるAPIアクセスは created と mounted のどちらで行う？APIアクセスはほとんどのライブラリで非同期に行われる。そのため、 created と mounted のどちらでAPIアクセスを開始しようが、レスポンスが返ってきた時点でコールバックが実行される。 上記を踏まえて、レスポンス完了後のコールバックの中で、 propsにデータを設定するだけの場合は、 created を使う DOMを構築してる間にも、HT
ALBの「アイドルタイムアウト」とステータスコード502,504の話 - PLAY DEVELOPERS BLOG
ソリューション技術部の杉嵜です。4月から部署名が変わってますが、過去にFinchの記事を書いた杉嵜と同じ人です。ちなみに当時はFinch v0.3.0でしたが、現在はv0.5.0までアップデートされています。 developers.play.jp 今回はAWS Application Load Balancer(ALB)の属性「アイドルタイムアウト」の話です。アイドルタイムアウトは秒数を設定するパラメータで、デフォルトは60秒です。そのまま使う人もいるかもしれませんが、ターゲットサーバの動作や設定値によっては、意図しない「504 Gateway Timeout」や「502 Bad Gateway」を返す原因になりかねません。不要な500番台エラーを避けるためにも、このパラメータで何が変わるのか理解しておきたいところです。 ALBを使った構成の例 502と504の一般的な定義 「504 Ga
AWS Lambda：API GatewayとApplication Load Balancerの違い - Qiita
AWS Lambdaを使ってサーバーレスでWeb APIを作る場合、Lambdaの呼び出し元としてAPI Gateway (API GW) もしくはApplication Load Balancer (ALB) のどちらかを選択することになる。この選択基準となる両者の違いを整理した。 API Gateway特有の機能 当然ながら、ALBではAPI Gatewayのリクエスト検証、データマッピング、アクセス制御、SDK生成といった機能は使えない。 プロトコル・ポート番号 API GWは443番でのHTTPS (TLS 1.2) のみをサポートする。（VPC Endpoint経由での呼び出しはできるが、この場合でもHTTPSのみとなる。） ALBは任意のポート番号でのHTTP/HTTPS（TLSバージョンも選択肢がある）をサポートする。 実行可能時間（タイムアウト時間） API GWは最長29
この投稿では、外部パッケージを一切使わずに、Node.jsビルトインモジュールだけで作る、たった14行のHTTPリバースプロキシの実装を紹介する。なお、本稿のサンプルコードはTypeScriptで提示する。 14行のHTTPリバースプロキシの実装 ここで紹介するリバースプロキシの実装は、主に次の流れでHTTPリクエストをさばく: リバースプロキシは普通のHTTPサーバとして起動する。 リバースプロキシは、クライアントからのリクエストを受け取ったとき、バックエンドサーバ向けのHTTPリクエストを新たに生成する。 クライアントからのリクエストをコピーし、バックエンドにリクエストを送る。 リバースプロキシは、バックエンドからレスポンスを受け取ったとき、それをクライアント向けレスポンスにコピーし、クライアントにレスポンスを返す。 import {createServer, request} fro
2020/06/16 (更新日: 2021/08/28) Docker環境で簡単にSSL化する方法を解説 【失敗しない初心者でもできる方法】 Docker こういった人向けにDockerでSSL化するimageを使った方法を紹介します。 本記事の内容 Dockerを使った環境でのSSL化をする方法を解説 ローカルでSSL化する 本番環境サーバでSSL化する この記事を書いている僕は、エンジニア歴４年。 現役のフリーランスエンジニアがお伝えするので、記事の信頼性担保に繋がると思います。フロントエンドがメインのエンジニアでありその視点で解説するので、Dockerがわかっていない駆け出しエンジニアにもわかりやすくお伝えします。 Dockerを使った環境でのSSL化をする 「jwilder/nginx-proxy」 「jrcs/letsencrypt-nginx-proxy-companion」
はじめに AWS ALB を使おうとすると、リスナー、ターゲットグループといった設定が登場し、どの設定が何を意味しているのか理解するのが結構たいへんです。 この記事では、そんな ALB の主な設定をまとめます。 全体像 ALB の主な設定の全体像は以下の通りです。 以下、順に説明していきます。 リスナー リスナーは、外部からアクセスするプロトコルやポートの設定です。 ロードバランサに対して、複数のリスナーを設定することができます。 ALB は HTTP と HTTPS に対応しているため、その両方か片方をリスナーとして登録することになります。 リスナールール・条件・アクション リスナーに対して、複数のリスナールールを紐付けることができます。 リスナールールには優先順位の設定があり、順に条件を満たすか判定されます。 条件を満たすと、そのリスナーに対応するアクションが呼び出されます。 アクショ
いくつか調べてみました！ 優しめのマサカリください！！ ELBとは Elastic Load Balancer = ロードバランサー トラフィックの分散を行う サーバへのアクセスを、複数のアベイラビリティーゾーンの複数のEC2インスタンスに分散 全3種類 NLB - Network Load Balancer L4 NATロードバランサ TCPに対応 ALB - Application Load Balancer L7リバースプロキシ HTTP,HTTPSに対応 CLB - Classic Load Balancer L4/L7 リバースプロキシ TCP,SSL,HTTP,HTTPSに対応 特徴と違い 通信経路 ALB,CLBはリバースプロキシのため、行きも帰りもロードバランサを経由 NLBは宛先IPをクライアントのIPに変えるため、帰りはLBを通らない アクセス制限 ALB,CLBはポー
.NET Conf 2023 The biggest .NET virtual event is back, November 14-16! Today we announce the release of YARP 1.0, which can be downloaded from NuGet. YARP (Yet Another Reverse Proxy) is a highly customizable reverse proxy built using .NET. The biggest differentiator between YARP and other reverse proxies is how it is built and packaged – YARP is supplied as a library and samples showing how to cre
Application Load Balancer でmTLSを使ってTLSクライアント認証をやってみた トラストストア検証編 #AWSreInvent | DevelopersIO
Application Load Balancer でmTLSを使ってTLSクライアント認証をやってみた トラストストア検証編 #AWSreInvent ロードバランサー側でクライアント証明書の検証をしたい こんにちは、のんピ(@non____97)です。 皆さんはロードバランサー側でクライアント証明書の検証をしたいなと思ったことはありますか? 私はあります。 re:Invent 2023期間中のアップデートでALBがmTLSをサポートしました。これによりクライアント認証が簡単に行えるようになります。 早速DevelopersIOでも記事が挙がっていますね。 上述の記事ではパススルー構成を試しています。パススルー構成はALBのバックエンド側でクライアント証明書を検証するパターンです。 個人的にはできれば、面倒なクライアント証明書の検証はALBにオフロードしたいところです。 そんな願いを叶え
More than "Hello World" in Docker: Build Rails + Sidekiq web apps in Docker
More than "Hello World" in Docker: Build Rails + Sidekiq web apps in Docker This is the first post in the More than "Hello World" in Docker series. The series will help you ready your app: from setting it up locally to deploying it as a production-grade workload in AWS. Build Rails + Sidekiq web apps in Docker - we are here Deploy Rails in Amazon ECS Concepts Push an image to ECR Create the RDS da
解決策 ロードバランサーのバージョンを確認する Amazon Elastic Compute Cloud (Amazon EC2) コンソールを開きます。 サイドバーの [ロードバランシング] で **[ロードバランサー]**を選択します。 リスナールールを作成するロードバランサーを探し出します。[タイプ] 列に表示されているバージョン (アプリケーション、クラシック、ネットワーク、ゲートウェイ) を確認します。 以下の手順は、Application Load Balancer にのみ適用されます。Classic Load Balancer を使用している場合は、「Classic Load Balancer で HTTP トラフィックを HTTPS にリダイレクトする方法を教えてください。」を参照してください。 **注:**以下の手順を実行する前に、ターゲットグループを作成する必要がありま
Global Load Balancer for OpenShift clusters: an Operator-Based Approach
Introduction When multiple OpenShift clusters are distributed in different data centers and possibly different geographies, one needs a method for directing traffic towards each instance. For this scenario, a global load balancer provides a good solution. A global load balancer is a DNS server that makes load balancing decisions based on a number of factors. As we know, DNS servers resolve a Fully
Serverless NEG + GAE を試してみる
Network Endpoints Group (NEG) が非常に強力にバージョンアップしました！ GCP (Google Cloud Platform) のNEGのバックエンドには、今まではGCEやGKEにしか使用できませんでした。 しかし、NEGのバージョンアップにより、Serverlessなサービスである『GAE (SE&FE)』、『Cloud Functions』、『Cloud Run』もNEGを使用できるようになりました。 ※NEGそのものに関しての説明は本記事では省きますので、下記の公式ページを一読ください。 ネットワーク エンドポイント グループの概要 | 負荷分散 インターネット ネットワーク エンドポイント グループの概要 | 負荷分散 ゾーン ネットワーク エンドポイント グループの概要 | 負荷分散 今回はそんなバージョンアップしたNEGであるServerless
X-Amzn-Trace-Id を使用して Application Load Balancer リクエストをトレースする方法を教えてください。 簡単な説明 Elastic Load Balancing (ELB) では、Application Load Balancer がリクエストを処理すると、トレース情報が X-Amzn-Trace-Id ヘッダーに追加されます。例: X-Amzn-Trace-Id: Root=1-67891233-abcdef012345678912345678 識別子のログを記録し、それを使用してロードバランサーの問題をトラブルシューティングします。例えば、短時間に同じクライアントから同様のリクエストを多数受信したことを識別するために、X-Amzn-Trace-Id ヘッダーを使用します。スタックに多数のレイヤーがある場合は、X-Amzn-Trace-Id ヘッダ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
こんばんは、X-Forwarded-For警察です - エムスリーテックブログ
Let's Create a Simple Load Balancer With Go
基本的なシステム構成図を理解するためのAWS基礎をまとめてみた - Qiita
AWS Network Load Balancer + syslog転送における注意点
Ananta: Azure を支えるステートフル L4 ロードバランサー - Qiita
Vuejs APIアクセスはcreatedとmountedのどちらで行う？
Node.js: 外部パッケージを使わずに14行で作るHTTPリバースプロキシ - Qiita
Docker環境で簡単にSSL化する方法を解説 【失敗しない初心者でもできる方法】
AWS ALB の設定方法は？リスナー？ターゲットグループ？ - 完全に理解した.com
AWS ELB(ALB,CLB,NLB)を1分で掴む - Qiita
Announcing YARP 1.0 Release - .NET Blog
Application Load Balancer で HTTP を HTTPS にリダイレクトする
X-Amzn-Trace-Id を使用して Application Load Balancer リクエストをトレースする