GLB: GitHub's open source load balancer
EngineeringGLB: GitHub’s open source load balancerAt GitHub, we serve tens of thousands of requests every second out of our network edge, operating on GitHub's metal cloud. We've previously introduced GLB, our scalable load balancing solution… At GitHub, we serve tens of thousands of requests every second out of our network edge, operating on GitHub’s metal cloud. We’ve previously introduced GLB,
Open-sourcing Katran, a scalable network load balancer
Open-sourcing Katran, a scalable network load balancer Katran creates a software-based solution to load balancing with a reengineered forwarding plane that takes advantage of recent innovations in kernel engineering. With billions of people around the globe using Facebook services, our infrastructure engineers have created a range of systems to optimize traffic and to enable fast, reliable access
Introduction to modern network load balancing and proxying
It was brought to my attention recently that there is a dearth of introductory educational material available about modern network load balancing and proxying. I thought to myself: How can this be? Load balancing is one of the core concepts required for building reliable distributed systems. Surely there must be quality information available? I searched and found the pickings are indeed slim. The
自作ロードバランサ開発
概要 モバイル向け大規模サービスを運用する上で直面した問題を解決するため、ロードバランサの開発に取り組んでいる話をご紹介します。 最近徐々にユースケースが出始めたLinuxの高速パケット処理基盤 eXpress Data Path (XDP) を採用し、海外事業者における類似事例のアーキテクチャも参考にしつつ、高スループットかつDDoSに強いロードバランサを開発しています。 参考資料 本セッションの内容をより深くご理解頂く上で参考となる資料をご紹介します。 LINEのインフラ構成とその課題について LINEのインフラを運用して見えてきた課題 (JANOG39 発表資料) JANOG39登壇レポート「LINEのインフラを運用して見えてきた課題」 近年のロードバランサアーキテクチャについて ロードバランサのアーキテクチャいろいろ eXpress Data Path (XDP) について Lin
Google Cloud Load Balancing 用の TCP プロキシの設定 | Compute Engine ドキュメント | Google Cloud
Send feedback External proxy Network Load Balancer overview Stay organized with collections Save and categorize content based on your preferences. This document introduces the concepts that you need to understand to configure a Google Cloud external proxy Network Load Balancer. The external proxy Network Load Balancer is a reverse proxy load balancer that distributes TCP traffic coming from the in
DHCPLB: An open source load balancer
Facebook’s DHCP infrastructure and traffic imbalance Last year we talked about our production DHCP infrastructure and how we use ISC KEA in production to deploy a stateless and dynamic DHCP server across the fleet. At the time, we used a hash-based ECMP selection algorithm for our BGP anycast IP distribution. A question arose about whether the DHCP traffic was well-balanced across our KEA servers.
See the software network load balancer design that powers Google Cloud's networking | Google Cloud Blog
Google shares software network load balancer design powering GCP networking At NSDI ‘16, we're revealing the details of Maglev1, our software network load balancer that enables Google Compute Engine load balancing to serve a million requests per second with no pre-warming. Google has a long history of building our own networking gear, and perhaps unsurprisingly, we build our own network load balan
Maglev: A Fast and Reliable Software Network Load Balancer – Google AI
13th USENIX Symposium on Networked Systems Design and Implementation (NSDI 16), USENIX Association, Santa Clara, CA (2016), pp. 523-535 Maglev is Google’s network load balancer. It is a large distributed software system that runs on commodity Linux servers. Unlike traditional hardware network load balancers, it does not require a specialized physical rack deployment, and its capacity can be easily
ロードバランサのアーキテクチャいろいろ - yunazuno.log
少し前に，Facebookのロードバランサが話題になっていた． blog.stanaka.org このエントリを読んで，各種Webサービス事業者がどういったロードバランスアーキテクチャを採用しているのか気になったので調べてみた． ざっくり検索した限りだと，Microsoft, CloudFlareの事例が見つかったので，Facebookの例も併せてまとめてみた． アーキテクチャ部分に注目してまとめたので，マネジメント方法や実装方法，ロードバランス以外の機能や最適化手法といった部分の詳細には触れないことにする． 事例1: Microsoft Azure 'Ananta' MicrosoftのAzureで採用されている(いた？)ロードバランサのアーキテクチャは，下記の論文が詳しい． Parveen Patel et al., Ananta: cloud scale load balancing
負荷分散入門(ロードバランサ入門) 第1回 負荷分散の必要性 : 富士通
本連載では、信頼性の高いシステムを構築する上で欠かせない要素となってきた負荷分散技術と負荷分散装置(ロードバランサ)について解説します。 これまでの連載 第1回 負荷分散の必要性 第2回 負荷分散装置の基本機能 第3回 リクエストの分散機能 (1/2) 第4回 リクエストの分散機能 (2/2) 第5回 コンテンツ単位の負荷分散機能 第6回 セッション維持機能 第7回 故障監視機能と自動切り離し機能 第8回 連続サービス機能 第1回 負荷分散の必要性 近年のインターネットの普及によりインターネット利用者数は急速に延びており、それに従いインターネットサイトへのリクエストも増加しています。 その増加速度は過去の経験から予想された速度を上回っていて、今後も正確に予想することは難しいと考えられます。 リクエストが予想以上に増加すると、Webサイトの応答が遅くなったり、Webサイトに接
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
Building a Billion User Load Balancer | USENIX
Want to learn how Facebook scales their load balancing infrastructure to support more than 1.3 billion users? We will be revealing the technologies and methods we use to global route and balance Facebook's traffic. The traffic team at Facebook has built several systems for managing and balancing our site traffic, including both a DNS load balancer and a software load balancer capable of handling s
ロードバランスを考える
概要 次の制約下におけるロードバランシングに関する悩みを議論します。（これはコンテンツ屋によくある制約だと思っています） /24のサイズを超えるサーバ群にバランシングしたい 複数セットのロードバランサを並列で運用したい クライアントのIPをサーバで知りたい SSLの通信が含まれる もちろんコストは抑えたい 発表内容は次の流れを想定しています。 今回前提としている制約のどこが難しいか NATするとLBにパケットを返さないといけない SNATもするとクライアントIPがわからない（暗号化されてなければ、x-forwarded-forの挿入もできる） SNATしないとLBに返す工夫をしないといけない NATしない場合 macアドレス書き換えの場合は同じセグメントに置かないといけない linuxの場合、arp周り、もしくはiptablesの設定が必要 IPIP等でトンネルするとmssを設定する必要が
Recent Load Balancer Problems
Over the past few weeks, we’ve had a few service interruptions that can all be traced back to one cause – instability in our high-availability load balancer setup. Here’s a brief summary of our existing load balancing setup, a look at its problems, and what we’re doing to fix it. Load Balancing at GitHub To handle all of GitHub’s incoming HTTP, SSH and Git traffic, we run quite a few frontend serv
Load Balancing in The Cloud | PDF | Web Server | Internet & Web
Load Balancing is a method to distribute workload across one or more servers, network interfaces, hard drives, or other computing resources. Typical datacenter implementations rely on large, powerful (and expensive) computing hardware and network infrastructure, which are subject to the usual risks associated with any physical device, including hardware failure, power and/or network interruptions,
実録・間違いだらけの負荷分散（『斉藤さん』編） - pullphone's blog
特に記録を残さず、記憶に頼って書いているので一部曖昧だったり誤っている部分もありますがご了承下さい。。。 基本的に細かいこと考えずに試行錯誤しているので、あんまり参考にしないほうがいいと思います。 というかインストール方法とかコマンドラインが一切出てこないので参考にならないと思います。 see also http://d.hatena.ne.jp/pullphone/20120307/1331145454 そもそも『斉藤さん』ってなに？ ざっくり言ってしまうと『POMPA』というVoIPアプリで使った音声・動画チャットの技術を流用して、お手軽にもう一個アプリ作ろう！というところから始まった企画（確か）。学生層に人気・・・らしい。 サーバー側で主に担当しているのは「ユーザーのプロフィール管理」と「ショートメッセージ機能」と「Twitter認証（OAuth関係の処理）」と「マッチングプログラム
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HugeDomains.com
DMM inside
http://conferences.sigcomm.org/sigcomm/2013/papers/sigcomm/p207.pdf
GCP を支えるロードバランサの設計を公開
