Amazon RDS Proxy が BASE にもたらした期待以上の導入メリット - BASEプロダクトチームブログ
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
IP制限を減らす取り組み
モンスト事業本部SREグループの伊藤です。 普段はモンストに関するシステムの改善・運用を様々な面から行っています。 今回もサービスの直接的な改善ではないですが、ツール等のIP制限を減らす取り組みについてご紹介します。 サービスの直接的な改善もいつか書ければなと思っております。 皆さんはIP制限をしているツール等はいくつくらいありますでしょうか？ モンストにも歴史的経緯でIP制限されたツールや、特に制限されていないツール（！）までいくつもありました。 自作のツール以外にも開発や運用で使っているツールのフロントエンドなども合わせると30以上のツールがあります。 運用で使うツールはアラート対応などでオフィスにいない時でもどこからでもスマートに見れると嬉しいです。 特にサーバーのメトリクスは移動中に見れると対応しているメンバーにアドバイスができたり非常に助かります。 これまではオフィスのIPからの
kazeburo/choconと、それを支えるnet/httpの実装について
【資料公開します】AWS Dev Day Tokyo 2017 にて登壇しました／choconの簡単なご紹介 - Mercari Engineering Blog こんにちは。SREの @ kazeburo です。2017年5月31日から6月2日にAWS Summit Tokyo 2017と同時に開催された「AWS Dev Day Tokyo 2017」に登壇しました。 登壇する機会をいただき、ま… 先日、というか昨日、この資料が流れてきまして、Private Networkの外部との通信を効率良く行うためのミドルウェア、choconというproxyサーバーが紹介されていました。SSL, HTTP/2を加味した上での超シンプルで高速なforward proxyサーバー実装という印象です。 使い方やAPIの叩き方は上記のリンクを参考にしていただくとして、やたらマイクロな実装でなぜこうも高速に
AWSでのHTTP/2 or SPDY運用の課題とPROXY protocol - Hatena Developer Blog
東京でウェブオペレーションエンジニアをしている id:dekokun です。 本記事ではAWSでELBを使用してHTTP/2 or SPDYを運用する上で直面する問題としてのクライアントのIPアドレスが分からなくなる問題の紹介を行い、その後に解決策としてのPROXY protocolの紹介・PROXY protocolの設定方法について記載します。 この記事は先日公開しましたAWS EC2でのHTTP/2 or SPDY導入方法 - Hatena Developer Blog (以下、"前回の記事"と呼びます) の続編となります。 ELBのTCPモードにおける問題点 解決策としてのPROXY protocol PROXY protocolが必要となる技術的背景及びPROXY protocolの動作 ELB + nginx構成でのPROXY protocolの設定方法 ELBの設定 ngin
NAT をやめて、透過 SOCKS プロキシを導入した - Cybozu Inside Out | サイボウズエンジニアのブログ
以下の記事内容について、奥一穂氏（@kazuho）より、「connectのエラーコードが信頼できなくなるといった欠点もあるのに透過 SOCKS プロキシが汎用的に良いように読めてしまう」というご指摘をいただきました。確かに、下記内容は当社が抱えていた複数の課題を短期間で解消できる「ワークアラウンド」として透過 SOCKS プロキシという技法もあることを紹介したものであり、NAT と比較して常に良いという主張をしたかったわけではありません。また、記事内では解説を省きましたが、従来より HTTP(S) 通信は NAT ではなく HTTP プロキシを利用しています。謹んで補足・訂正とさせていただきます。 猫が好きだけど猫アレルギーで近寄ることができない山本泰宇です。 先日アーキテクチャ刷新プロジェクト「Neco」を紹介しましたが、今回はその活動の一環として実施したネットワークアドレス変換(NAT
NginxでリクエストをLXCコンテナに振り分ける - Qiita
やりたいこと blog.abcang.netとabcang.net宛のリクエストをwebコンテナに転送 blog.abcang.netとabcang.netでそれぞれ別のページが表示される app.abcang.net宛のリクエストをappコンテナに転送 登録されていないサブドメインでのアクセスはabcang.netに転送 コンテナを増やすたびに設定ファイルを追加したくない やったこと 以下のように設定ファイルを編集する。 各コンテナは普段通りの設定をすればいい。 map $http_host $cname { hostnames; abcang.net web; blog.abcang.net web; app.abcang.net app; default 0; } server { listen 80 default_server; server_name abcang.net; #
ウェブアプリケーションを開発しながら、手軽に脆弱性検査する方法
以前、OWASP ZAP に追加された attack mode の概要 というエントリを書きましたが、このATTACK modeを使った簡単なセキュリティ検査の手順をメモしておきます。この機能を使えば、ウェブアプリケーションの開発中にZAPが勝手に脆弱性スキャンしてくれます。 ※ この機能が追加される バージョン 2.4 はまだリリースされていないのですが、こちら から ZAP Weekly をダウンロードすれば試すことができます。 概要基本的には、ウェブアプリケーション開発時にウェブブラウザのプロキシとして ZAP を指定おくだけです。この時、ZAP 側で コンテキストというものを設定して、ATTACK mode にしておけば、アクセスしたURLに対して勝手に脆弱性をスキャンしてくれます。 ATTACK mode についてOWASP ZAP に追加された attack mode の概要
Google認証なリバースプロクシ＆静的コンテンツ配信サーバー「gate」 - unknownplace.org
Kibana や Grafana を使う時に、これらはjsのツールなので、 Erasticsearch や InfluxDB といったバックエンドサービスにjsからアクセスできるようにする必要がある。 そのためには、 普通にバックエンドサービスのportを開放 nginxとかでリバースプロクシ とかする必要があり、めんどくさい。 さらにセキュリティのことを考えると、2の方法のうえに、nginxでSSL+Basic認証なんかにする必要があってよりめんどくさい。 さらに、僕はBasic認証が嫌いだ。 昔は Firefox + 1Password で良い感じにBasic認証の入力が行えたが、いまはだめになってしまったし、 Basic認証だとアカウントの管理もめんどくさい。 なので、Google認証なhttpdでリバースプロクシもできる、gateというツールを作った。 https://github
[改訂版] iPhoneアプリのSSL接続をパケットキャプチャする方法 | [ bROOM.LOG ! ]
はじめまして。この度このページの情報を参考にiPhoneでパケットキャプチャをやらせていただいたにゃんこと申します。 掲載されていた情報通りに進めると、何点か不明点があったので、役立つか？当たり前なのか？分かりませんが補足させていただきます。 ①まず使用するburpsuiteですが、バージョンによってインターフェイスが異なっています。 Ver1.1なら記載されている通り『[proxy]タブ – [option] → 「loopback only」がチェックされているのでこれを外します。』であっています。 Ver1.5（2013/5/12）では[proxy]タブ – [option] には、「loopback only」という項目がありません。 この場合は、みうさんのコメントにある通り（以下転記）になります。 >>Burp suiteでの設定ですが、Proxy→Optionsと辿り、Prox
![[改訂版] iPhoneアプリのSSL接続をパケットキャプチャする方法 | [ bROOM.LOG ! ]](https://cdn-ak-scissors.b.st-hatena.com/image/square/aade9e21ce05ad2ed7895ccdfb10acc358475d21/height=288;version=1;width=512/https%3A%2F%2Fblog.rocaz.net%2Fuploads%2F2011%2F02%2FiPhoneApp_Capture2.png)
node-http-proxyでバーチャルホストで振り分けつつhttp/https->websocketリバースプロキシの実験
以下の2つのページを参考に、node-http-proxyでバーチャルホストで振り分けつつ http/httpsからwebsocketにリバースプロキシする実験をしてみました。 環境はCentOS 6.2です。ソースはhnakamur/node-http-proxy-websocket-sampleにあります。 ５分くらいで出来るnode.js(0.6) + socket.io(0.8x)のサンプルプログラム - 大人になったら肺呼吸 nodejitsu/node-http-proxy +---------------+ +------+ VHost1App/app | | | port 3000 | +--------------+ | +---------------+ -+ proxy-vhost +------+ | port 80, 443 | | +--------------
nginxで認証用proxyサーバを作成
今回作るシステムは、静的コンテンツを配信するサーバがすでにあり、 ・認証機構（ログイン画面）を追加 ・変更を最小限に抑えて開発 ・スケールアウトしやすい ・アクセス数が多いので、できるだけ処理を軽くする ことを目的とします。 この手のシステムは、既存システムに手を入れるのが普通ですが、既存システムでプログラムが動かないことには話になりません。 という事で、認証機構を追加したプロキシサーバを作成することで実現したいと思います。 仮に、PHPのみを使用して実装する場合は、下記のように出来ます。 ・ログイン画面はPHP ・rewriteでログイン画面系以外の全てのアクセスをindex.phpに向ける ・認証に失敗したらログイン画面にリダイレクト ・認証成功したら認証状態をセッションに記録(有効期限も記録) ・セッションはmemcacheなどで全サーバ共有 ・セッションの値が有効なときはコンテンツ
Nginx, Websockets, SSL and Socket.IO deployment
I've spent some time recently figuring out the options for deploying Websockets with SSL and load balancing - and more specifically, Socket.IO - while allowing for dual stacks (e.g. Node.js and another dev platform). Since there seems to be very little concrete guidance on this topic, here are my notes - I'd love to hear from you on your implementation (leave a comment or write about and link back
米dotCloud、WebSocket対応のHTTPプロキシ「Hipache」をリリース | OSDN Magazine
アプリケーションプラットフォームサービスを提供する米dotCloudは8月6日、分散HTTPプロキシ「Hipache」をオープンソースで公開した。WebSocketプロトコルに対応し、リッチかつリアルタイムなWebアプリケーションの開発・運用を支援するという。 dotCloudはPlatform as a Service（PaaS）事業を行う企業。さまざまな言語、ソフトウェアスタックに対応するプラットフォームを提供している。 近年、Webアプリケーションにおけるクライアントサーバー間の通信手段としてWebSocketプロトコルが注目されているが、近年Webアプリケーションで多く使われているnginxやHAProxyなどのツールはWebSockectに対応していない。その問題を解決するために開発されたのがHipacheとなる。HipacheはdotCloud社内のネットワークルーティングイン
Amazon EC2 を使った無限IPアドレスの作り方 - ぼくはまちちゃん！
こんにちはこんにちは！！ たまにIPアドレスがたくさん必要な時ってありますよね。 ぼくも先日そういう機会があって、ちょっと困りました。 で、「AmazonさんならIPいっぱいもってるのでは？」ってことで、 ちまたで話題のクラウドサービス Amazon Web Servise を試してみました！ あ、もちろんタイトルは煽りぎみで実際にはIPアドレスは有限なんですが＞＜ 正直、クラウドとかサーバーとかよくわかってなかったんですが、 とりあえず試してみたら意外と簡単にできたので、忘れないようにメモしておきます！ そうそう、Amazonのクラウドって高そうなイメージがあるけど、いまだと制限つきで無料らしいので、お得ですね！ もし無料枠こえても、無茶な使い方をしない限りはそれほど高くない。と思います。たぶん。 制限を見る限り、とりあえず一ヶ月がっつり試すだけならタダです！ 必要なもの： ・クレジット
404 Blog Not Found:Apache - proxyを使って人様のアクセスをログする
2007年04月07日22:15 カテゴリiTech Apache - proxyを使って人様のアクセスをログする そんなPHPなんて使わなくても、Apacheだけでできますがな。 企業イントラネットのちょっとグロイ小話4本*ホームページを作る人のネタ帳 かなり簡単な構造です。 検索ボックスから http://(自社グループウェアドメイン)/get.php に対して、検索ボックスからクエリを送信する。 ここで、サーバーに検索キーワード履歴を保存します。 その後、何事もなかったかのように header("Location: http://www.google.co.jp/search?q=".$q."&hl=ja&ie=EUC-JP"); をPHPに書き込んでおくだけで、Googleの検索結果に移行する。 以下はApache 2.0.xにおける方法ですが、1.3.xでも2.2.xでも違いはほ
CyberSyndrome - The Proxy Search Engine
世界最高品質のプロキシリストを提供するプロキシ専門サーチエンジン You can find active, fast and anonymous proxy servers here!
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
TechCrunch | Startup and Technology News
とある診断員とSQLインジェクション
GitHub - observing/balancerbattle: WebSocket loadbalancer battle
https://www.proxyforest.com/