NLB + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象を解消した話 - Repro Tech Blog
Repro インフラチーム (SRE + 分析基盤) の伊豆です。今回は、Repro のデータ収集基盤で私たちが遭遇した問題を紹介したいと思います。 具体的には、AWS Network Load Balancer(NLB) + Fluentd の構成でファイルディスクリプタが枯渇する謎の現象に遭遇したので、その問題の調査記録と解決策を共有します。また、この問題を解消するにあたり Fluentd に PR を送ったのでそれの紹介もします。 https://github.com/fluent/fluentd/pull/2352 データ収集基盤の構成 Repro のデータ収集基盤はFlunetd High Availability Configをもとに構成され、大まかに次のようになっています。 SDK からアップロードされたデータは、転送用 Fluentd(log forwarders)を経由し
AWS Fargateでコンテナ間通信させたいとき - Qiita
この記事は AWS Fargate Advent Calendar 2017 の19日目の記事です。 cloudpack大阪の佐々木です。 Fargateでコンテナ間通信させるときの話です。 概要 Docker環境で、コンテナ間で通信させるためにLinkという機能があります。1 ECS上でLink機能を使用しているタスク定義を、Fargateで実行しようとしてもエラーになって動きません。 実行結果 まず簡単な例として、Wordpress + MySQLという構成があるとします。2 WordpressコンテナとMySQLコンテナがあって、Wordpressの方にLinkを指定することで、mysqlという名前で通信できるようになります。 version: '2' services: wordpress: image: wordpress ports: - "80:80" links: - my
新しいNetwork Load Balancer – 秒間数百万リクエストに簡単にスケーリング | Amazon Web Services
Amazon Web Services ブログ 新しいNetwork Load Balancer – 秒間数百万リクエストに簡単にスケーリング Elastic Load Balancing(ELB)は、Auto ScalingとAmazon CloudWatchを含む3つの組みの一部としてローンチした2009年以来、AWSの重要な要素になっています。それから、私たちは多数の機能を追加し、そしてApplication Load Balancerをリリースしました。コンテナで稼働するアプリケーションに対するアプリケーションレベルでのコンテンツベースルーティングをサポートする様に設計されており、Application Load Balancer はマイクロサービス、ストリーミング、リアルタイムワークロードと相性が良いです。 長年にわたって、私達のお客様はあらゆる規模のwebサイトや、アプリケーシ
もう一度ENIについて考えてみた(Linux編) - log4moto
Amazon Linux AMI 2012.09より、複数のENIを使用した際の自動設定が非常に賢くなっているので、もう一度追加ENIについて考えてみた。 Amazon Linux AMIを使用した検証 論より証拠。まずは動かしてみましょう。 VPCを作成します。 VPC: 10.0.0.0/16 Subnet1: 10.0.1.0/24 Subnet2: 10.0.2.0/24 Subnet3: 10.0.254.0/24 Subnet1&2 共通RouteTable 10.0.0.0/16 local 0.0.0.0/0 igw-xxxxxxxx Amazon Linux AMI (2012.09バージョン)を起動します。 AMI: amzn-ami-pv-2012.09.0.x86_64-ebs (ami-4e6cd34f) ENI: １つだけ (10.0.1.4のIPアドレスを指定
AWS Data Transfer Price Reduction | Amazon Web Services
AWS News Blog AWS Data Transfer Price Reduction I am happy to announce that we are reducing the rates for several types of AWS data transfers, effective December 1, 2014, as follows: Outbound Data Transfer – Pricing for data transfer from AWS to the Internet is now 6% to 43% lower, depending on the Region and the amount of data transferred per month. Data Transfer to CloudFront – Data transfer fro
Amazon VPCを使ったミニマム構成のサーバ環境を構築する | DevelopersIO
よく訓練されたアップル信者、都元です。AWSにおいては、ネットワーク環境をあまり気にせず、数クリックで簡単にサーバを構築できるのは一つのメリットだと言えます。しかし、本格的に運用するシステムに関しては、ネットワーク環境をコントロールする需要も出てきます。AWS Virtual Private Cloud (VPC)を使えば、AWS上に仮想ネットワークを定義し、その上に各種サーバを配置することができます。 深く考えずに非VPC環境に構築してしまったAWSサーバ環境は、簡単にはVPC環境に移行することはできません。従って弊社では、小さなシステムであっても、最初からVPC環境にシステムを構築することを推奨しています。「非VPCが許されるのは小学生までだよねー」とボスが申しておりました。かといって、ネットワークの構成をゼロから考えて構築するのもひと苦労であるため、本エントリーでは、システムの初期段
AWSのネットワークACLとセキュリティグループの違い - プログラマでありたい
前回、ブラックリスト型ファイヤーウォールとしてネットワークACL（NetworkACL）を紹介しました。セキュリティグループとの役割の違いが解り難いところがあるので、改めて整理してみたいと思います。 ネットワークACL（NetworkACL）とセキュリティグループ（SecurityGroup）の違い まずセキュリティグループとネットワーク ACLの違いは何でしょうか？これは、公式のドキュメントに表形式でまとめられていて非常に解りやすいので、是非一度見て頂ければと思います。表を転載すると以下の通りです。 セキュリティグループ ネットワーク ACL インスタンスレベルで動作します（第 1 保護レイヤー） サブネットレベルで動作します（第 2 保護レイヤー） ルールの許可のみがサポートされます ルールの許可と拒否がサポートされます ステートフル: ルールに関係なく、返されたトラフィックが自動的に
AWS ELBの社内向け構成ガイドを公開してみる 負荷分散編 – Cross-Zone Routingを踏まえて ｜ DevelopersIO
ども、大瀧です。 最近、お客さまからの問い合わせからElastic Load Balancing(ELB)の負荷分散について調べ社内資料としてまとめる機会がありました。せっかくなので、ブログ記事として公開してみます。内容は随時アップデートしますので、ツッコミ・ご指摘があればぜひお願いします！ 負荷分散の仕組み ELBは、クライアントのリクエストを受け付けEC2インスタンスにトラフィックを転送するために、2種類の負荷分散を組み合わせて動作します。 スケーラビリティと冗長性のために、ELBはロードバランサの機能を提供するノードを複数動作させるはたらきがあり、クライアントから複数のノードへアクセスを分散させるためにDNSラウンドロビン、ノードからEC2インスタンスへのトラフィック転送を分散させるためにLeast Connsという手法を用いています。 DNSラウンドロビン DNSラウンドロビンはそ
【AWS】VPC環境の作成ノウハウをまとめた社内向け資料を公開してみる | DevelopersIO
よく訓練されたアップル信者、都元です。今回のお題は久しぶりにVPCです。 この記事は、アップデート版が存在します。最新情報は【AWS】VPC環境構築ノウハウ社内資料 2014年4月版を参照してください。 VPCを利用する理由 弊社で構築するAWSのサーバ環境は、一部の例外を除いて全てVPCを利用しています。 突然ですが、筆者はあまり大規模なシステムに携わった経験がありません。大規模なプロジェクトだと「数百数千台のサーバがラッキングされ、それが論理的なネットワークで区切られていて」「複数のデータセンターが冗長化された専用線で結ばれて」等、正直ちょっと想像つかない世界があるんだと思います。よくわかんないですが。 (c)John McStravick. (CC BY 2.0 Licensed) 逆に、小さなシステムであれば、月々数万円でレンタルサーバを借りて「1台のマシンの中にWebサーバとDB
ElastiCacheとELBとtwemproxy その2 - まめ畑
以前、 http://d.conma.me/entry/2013/01/22/195331 のエントリで、Internal ELB + twemproxy + ElastiCacheの構成で、スループットが劇的に低下してしまう問題について書きましたが、その後色々と調査をしてみました。 Internal ELBのウォームアップを行い、都度コネクションを切っていたものを接続したままにし、コマンドを送信するように変更してみました。 しかし、結果は前回の結果と同様のものとなりました。 他にも色々とtwemproxyやカーネルパラメータなどの調整を行なってみたのですが、劇的な効果はありませんでした。 Internal ELB の代わりにhaproxyを使用してパフォーマンスを測定してみました。 条件は、haproxy * 1 / twemprxoy * 4 / ElastiCasche(large)
AWS Tokyo Regionのネットワークを調べてみた。 - めもおきば
AWSの東京リージョンがリリースされたということで、技術視点からネットワーク関係を探ってみました。 なお、利用者視点でのレイテンシやスループットについては、並河さんの記事が分かりやすいです。 上位ネットワーク まず最初に、インターネットとの接続方法、つまり上位ISPをざっくり知るために、実際にEC2上で立ち上げたインスタンスのIPアドレスをrobtexに突っ込んでみると、AS16509の175.41.192.0/18 AWS AsiaPac prefixというのが実際にインターネット上で流れている経路、つまりIPアドレスブロックでよさそうです。さらに、 AS16509は日本を含む全世界で使ってるけどAS38895はシンガポールでのみ。シンガポールと日本へのルーティングはそれぞれに割り当てた/18単位で、って感じかな。(そうなると、シンガポールだけ別のASにした理由がイマイチ分からないな)
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CloudFrontをかますとキャッシュなしのAPIコールでも速くなるようだ : sonots:blog
20140418 aws-casual-network
カジュアルにVPC作った結果がこれだよ！