Dropbox traffic infrastructure: Edge network | Dropbox Tech Blog
In this post we will describe the Edge network part of Dropbox traffic infrastructure. This is an extended transcript of our NginxConf 2018 presentation. Around the same time last year we described low-level aspects of our infra in the Optimizing web servers for high throughput and low latency post. This time we’ll cover higher-level things like our points of presence around the world, GSLB, RUM D
How we migrated Dropbox from Nginx to Envoy
In this blogpost we’ll talk about the old Nginx-based traffic infrastructure, its pain points, and the benefits we gained by migrating to Envoy. We’ll compare Nginx to Envoy across many software engineering and operational dimensions. We’ll also briefly touch on the migration process, its current state, and some of the problems encountered on the way. When we moved most of Dropbox traffic to Envoy
Request origin does not match request base_url · Issue #22965 · rails/rails
Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community. Pick a username Email Address Password Sign up for GitHub By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails. Already on GitHub? Sign in to your account
Avoiding dropped connections in nginx containers with “STOPSIGNAL SIGQUIT” | Ubuntu
Avoiding dropped connections in nginx containers with “STOPSIGNAL SIGQUIT” (Also published on my blog at robinwinslow.uk) Update: The default used in the official nginx docker image was changed from SIGTERM to SIGQUIT in November 2020, so this should no longer be an issue for Docker or Kubernetes users. nginx is a very popular web server. It may have just become the most popular web server – Netcr
NGINX強制捜査めぐる非難受け、Ramblerが刑事告訴を撤回へ
印刷する メールで送る テキスト HTML 電子書籍 PDF ダウンロード テキスト 電子書籍 PDF クリップした記事をMyページから読むことができます Ramblerは、オープンソースコミュニティやロシア国内の技術コミュニティからの激しい反発を受けて、世界的に利用されているウェブサーバーの開発元であるNGINX, Incに対する刑事告訴を撤回することになったという。 同社は今後、民事訴訟でNGINXのソースコードの所有権を追求する考えだとRamblerの広報担当者は米ZDNetに述べた。 この決定は、現地時間12月16日午前に開催されたRamblerの取締役会で下された。この取締役会は、ロシア最大の銀行の1つであり、Ramblerの筆頭株主（持ち株比率46.5％）でもあるSberbankの求めで開かれたものだ。 Sberbankが招集した取締役会に先立つ週末には、ロシアの技術コミュニテ
PHPアプリのユーザIDをnginxのアクセスログに記録する方法 - Qiita
自分への備忘録を兼ねて。 はじめに ユーザに関する様々なデータを分析してサービス改善に役立てるというのは、サービスを提供する上でよくある方法です。 Webシステムの場合、いわゆるアクセスログを元にして改善点やユーザ動向を見つけることもあるでしょう。 ユーザ動向を把握するという意味では、サービスが管理するユーザIDをログに記録することで、どのユーザがどんな動き方をしたかを残しておくことができます。 Apache + mod_phpの環境であればapache_noteを使ってPHPアプリケーションが管理するユーザIDをアクセスログに記録することができますが、nginx + php-fpm環境の場合はHTTPレスポンスヘッダを利用することで、比較的簡単にアクセスログに記録することができるようになります。 nginxでは特定のレスポンスヘッダをクライアントに送出しないようにすることもできますので、
CentOS7.5 の fsnotify がレースコンディションを起こすバグを nginx + td-agent + in_tail プラグインで踏む - hibomaの日記
2018/7/18 追記 3.10.0-862.9.1.el7 で fix されました hiboma.hatenadiary.jp 2018/7/4 追記 最新の情報はこちらにまとめています hiboma.hatenadiary.jp 2018/6/16 追記 CentOS Plus の kernel-plus では修正が入っています. 詳しくはこちらをご覧ください hiboma.hatenadiary.jp エントリの概要 CentOS7.5 の fsnotify() がレースコンディションを起こすバグを、 nginx + td-agent (fluentd) + in_tail プラグインで踏んだ際の調査内容を記していきます. イントロダクション このエントリを書いた時点では、CentOS 7.5.1804 以降でリリースされているカーネルは 3つありますが、カーネルの fsnotif
ngx_mruby v2のHTTPクライアントをv1よりも最大90倍高速にした - 人間とウェブの未来
写真のような感じでRubyKaigi2018で登壇し、RubyKaigiを経て、ようやくngx_mrubyのv2をリリースしました。基本的にv1と互換性がありますので、今後はv2を開発していくことになります。 github.com ngx_mruby v2の目玉機能としては、Rubyスクリプトからノンブロッキングのsleepとhttp[s]クライアントを使えるようになったことです。実装的には、nginxのsub requestという機能をうまく使って、ノンブロッキングのhttp[s]クライアントを汎用的なsub_requestメソッドとして実現しています。 では、本エントリではそのノンブロッキングhttpクライアントがどの程度高速処理可能になったかを実験してみましょう。また最後には、RubyKaigi2018の感想も述べます。 実験 proxyサーバのblockingとnon-blocki
Nginxを用いたWebSocketサーバのReverseProxy構成及びSSL/TLS接続 - tail my trail
TL;DR 今更ながら、随分前の作業メモが貯まっていたのと、もう一つの記事のつなぎとするために吐き出しておく。 WebSocket 通信のSSL/TLS通信をさせたりロードバランシングさせたい場合など、WebSocketサーバの前段にReverseProxyを置きたい時は Nginx (v1.3.13 以降) を使おうという話。 なお、AWSのELB (ALB: Application Load Balancer) を使っても実現できるようになったので、AWSで運用しているサービスの場合はALB使ったほうがお手軽省コストメリット大きいと思う。 はじめに 以前Node.js 自身でSSL/TLS通信する方法を記したが、 シングルコアで動作するNode.jsプロセスに、暗号化のオーバーヘッドまで食わせるのは非常にもったいない。 pm2などのNode.js製のクラスタリングツールでマルチプロセス
RailsのPOSTでCSRF TokenがVerifyできないときに確認したいこと - Qiita
前提条件 nginxがSSL Terminationをするリバースプロキシである Railsのバージョンが5の状態でrails newをしている 発生する問題 formのPOST時にCan't verify CSRF token authenticity.というエラーが発生する 確認するところ CSRF Tokenがページ内に埋まっているか？ nginxにおけるリパースプロキシの設定は間違っていないか？ CSRF Tokenがページ内に埋まっているか？ Railsで入力フォームを作成するときは、おそらくform_forかform_tagを使うことになると思います。その場合、普通はauthenticity_tokenというhidden fieldが追加されています。 たとえばこれはQiitaの意見を送信するフォームにauthenticity_tokenが埋め込まれている様子です。 またAja
EventSource / Server-Sent Events through Nginx
On server-side using Sinatra with a stream block. get '/stream', :provides => 'text/event-stream' do stream :keep_open do |out| connections << out out.callback { connections.delete(out) } end end On client side: var es = new EventSource('/stream'); es.onmessage = function(e) { $('#chat').append(e.data + "\n") }; When i using app directly, via http://localhost:9292/, everything works perfect. The c
ngx_mrubyがnginxのTCPロードバランシング機能に対応しました - 人間とウェブの未来
nginxのv1.9あたりからOSS版でも使えるTCPロードバランシング機能をmrubyでプログラマブルに制御できるようにngx_mrubyでもサポートしました。 github.com これで、HTTPやHTTP/2だけでなくTCPのロードバランシングでもmrubyによって通信をプログラマブルに制御できるようになったわけです。 nginxのTCPロードバランシング機能は、nginx内部ではstreamモジュールとして、httpモジュールとは別で実装しているため、ngx_mrubyでも一から実装し直す必要がありました。 ということで少し面倒だなぁと思っていたのですが、ちょうど、僕の最近やりたい事としてTCPのロードバランサをもう少しプログラマブルに書きたいというのがあって、色々とTCPロードバランサを探したり、既存のソフトウェアで設定を試行錯誤するよりも、自分でnginxのTCPロードバラン
【Developers Summit 2017 フォローアップ】グランブルーファンタジーを支えるインフラの技術
みなさん、こんにちは。インフラエンジニアマネージャーの佐藤太志です。 Developers Summit 2017 にて「グランブルーファンタジーを支えるインフラの技術」と題して講演させていただきました。 Developers Summit 2017の運営のみなさま、また講演にご参加いただいたみなさま、ありがとうございました。この場をお借りして御礼申し上げます。 会場が満席で立ち見の方も数人おられ、多くの方に関心を持っていただけたことを嬉しく思っております。 発表資料は下記になります。 発表した内容について ログデータの取り組み 5TB/日のログデータの保存とデータ活用方法 リアルタイム通信の高速化 Nginx と Luaスクリプトを用いたL7 ロードバランサシステム タグシステムと運用 サーバ情報のインベントリシステムと運用事例 上記のとおり、グランブルーファンタジーで利用している事例を
秒間100万クエリ・8万リクエストの「グラブル」安定稼働を支える、Cygames「3つの取り組み」【デブサミ2017】
リアルタイム通信の高速化とタグシステムによる運用効率化 続いて佐藤氏はリアルタイム通信高速化の取り組みを紹介。チャットやマルチバトルのパラメータ反映などで利用されるのが双方向リアルタイム通信だ。CygamesではWebSocketプロトコルを使って双方向リアルタイム通信を実装。サーバはNode.jsで、WebSocket通信とデータ送受信を実装している。 リアルタイム通信の基本的な仕組みとして、クライアントはRoomという単位でグループ化され、同じRoomIDを持ったクライアント同士でメッセージを共有する。大規模環境の場合はサーバを分散する必要があり、一般的によく使われているのがPub/Subメッセージングモデルだ。グラブルでも当初はRedisのPub/Sub機能を使って、このモデルを採用していたという。しかし、アクセス数の増加とともにRedis Pub/Sub（メッセージキュー）がボトル
新しいRubyアプリサーバー「NGINX Unit」を調べてみた（翻訳）｜TechRacho by BPS株式会社
概要 原著者の許諾を得て翻訳・公開いたします。 英語記事: A New Ruby Application Server: NGINX Unit 原文公開日: 2018/03/28 著者: Nate Berkopec (@nateberkopec): Railsのパフォーマンスコンサルタントです。 主著: The Complete Guide to Rails Performance 参考に、NGINX Unitの動画を貼っておきます。 画像は元記事からの引用です。 概要: NGINX inc.は同社の新しい複数言語対応アプリサーバーであるNGINX UnitでRubyのサポートを開始しました。NGINX UnitはRubyアプリサーバーにどんな意味をもたらすのでしょうか？NGINX Unitは注目すべき製品なのでしょうか？（2057文字、10分） Rubyistのための新しいアプリサーバー
Nginxのリバースプロキシでバックエンドとhttp2通信する - ASnoKaze blog
以前書いたとおり、ApacheではリバースプロキシでバックエンドとHTTP2通信することができます。 asnokaze.hatenablog.com Nginxの場合は、開発者のメーリングリストでGoogleの人が書いてる「ngx_http_v2_upstream」パッチを利用することでバックエンド(upstream)とHTTP2通信することが出来るようになります。 パッチ [PATCH 01 of 14] Output chain: propagate last_buf flag to c->send_chain() [PATCH 02 of 14] Upstream keepalive: preserve c->data [PATCH 03 of 14] HTTP/2: add debug logging of control frames [PATCH 04 of 14] HTTP/
nginx に実装された gRPC サポートを試してみる - Qiita
Announcing gRPC Support in NGINX ということで、nginx 1.13.9 で gRPC サポートが入り、HTTP と同じように gRPC ストリームを扱えるようになるようです。めでたい！ grpc_pass ディレクティブが新規に実装され、grpc:// と grpcs:// なバックエンドに対してリバースプロキシを行えるようになるようです。これを使って、 TLS 終端を nginx にやってもらったり 複数のバックエンドを置いて柔軟にロードバランスしてもらったり 同一のエンドポイントに複数 gRPC service を設定して、nginx にルーティングしてもらったり などの設定をすることが可能になるようです。 まだ正式にリリースされているわけではないので、今回は HEAD を持ってきて、リリースに載っている例を試してみます。 下準備 今回は適当に EC2
Introducing gRPC Support with NGINX 1.13.10 - NGINX
Analytics cookies are off for visitors from the UK or EEA unless they click Accept or submit a form on nginx.com. They’re on by default for everybody else. Follow the instructions here to deactivate analytics cookies. This deactivation will work even if you later click Accept or submit a form. Check this box so we and our advertising and social media partners can use cookies on nginx.com to better
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Configure NGINX : How to handle 500 Error on upstream itself, While Nginx handle other 5xx errors
GitHub - nginx-proxy/nginx-proxy: Automated nginx proxy for Docker containers using docker-gen
