Facebookはレイヤ4ロードバランサをIPVS(LVS)からXDPベースのものに乗り換えつつある - yunazuno.log
4月に開催されたnetdev 2.1で面白いセッションがあったのでメモ。 Facebookが使用しているレイヤ4のロードバランサに関する発表で、従来はIPVS (LVS) を使用していたが、XDPベースで自ら開発したものに移行しつつある、という内容。 XDP Production Usage: DDoS Protection and L4LB (slide) www.youtube.com XDP (eXpress Data Path) については以前のエントリで簡単に紹介した。 yunazuno.hatenablog.com XDPを改めて簡単に紹介すると、Linuxカーネルのネットワークスタックの最下部 (NICに一番近い場所) でパケット処理を行う仕組みのことで、オーバーヘッドが非常に小さい高速パケット処理の実現を目的としている。XDPはeBPFを用いており、eBPFが提供するmap
LVSの高負荷対策 その1 ~障害発生~ : DSAS開発者の部屋
こんにちは。インフラ担当の岡村です。 昨年、あるサービスで使用中のロードバランサが停止してしまうという事件が起こりました。 事の顛末を、数回に分けて紹介していきたいと思います。 もし同様の事象にお困りの場合は、役立てて頂ければと思います。 システム構成 KLabのDSASでは、ロードバランサにLVS (Linux Virtual Server) を使用しています。 ロードバランサはマスタ-バックアップ構成になっており、マスタ側が停止してしまっても、通常はバックアップ側がマスタに昇格し、サービスを継続できるようになっています。 おおまかな構成は下図のようになります。 ある日の晩、突然ロードバランサ(マスタ側)の死活監視のアラート通知が届きます。 （なんだろう..。電源障害？ その他HW障害？ もしくはカーネルのバグを踏んだ？） 原因調査・復旧はもちろん必要ですが、冗長構成のため、とりあえずサ
unicast対応でよみがえる keepalived on VPC-EC2 - 続 カッコの付け方
AWSを始め、ほとんどのパブリッククラウドはmulticastが出来なくて不便。と言われてきましたが、だったらunicastでやってしまえば良い！という考え方が 2013年頃すでにありました。なぜmulticastをやりたいの？と言うと そうだね！、LVS + keepalived だね！ (あとはゴシッププロトコル) これまた2年前に EC2 + LVM (DSR) を実践してみたという素敵な解説があり、パッチを当てればいける ということは知ってたけど、月日がながれて 今日keepalivedの総本山を見てみたら http://www.keepalived.org/changelog.html Release 1.2.8 ぐらいからunicast対応してますね。というか、今更開発が活発になってきたのか？これは。というわけで、最新版の 1.2.19を使ってみます。 予備知識 EC2でmul
コンテナによるLVS-Web構成 : DSAS開発者の部屋
はじめに KLabさんの協力会社として一緒にお仕事をさせて頂いておりますクラスターコンピューティングと申します。今回はコンテナを利用したLVS-Web構成の構築を試してみました。 従来の物理サーバを仮想マシンやコンテナで置き換え、1つの物理システム上に複数のシステムを構築ししたり、必要に応じて動的にシステムを構築するなどのことは最近とはいわずよくおこなわれています。コンテナはそのフットワークの軽さからこれらの用途にとくに有効です。 コンテナはNamespaceやcgroupなどの技術を利用して独立したリソースをコンテナ毎に確保することにより仮想化環境を提供する一方、カーネル自体はホストのカーネルをホストの上のすべてのコンテナで共用しています。今回は、ipvsやiptablesなどカーネル空間の機能がコンテナ内でも利用できるのかの確認とともに、それらの機能を利用したコンテナによるシステム構成
Performance Evaluation of Linux Virtual Server
Patrick O'Rourke and Mike Keefe - Mission Critical Linux, Inc. Abstract Linux Virtual Server (LVS) is an open source technology which can be used to construct a scalable and highly available server using a collection of real servers. LVS load balances a variety of network services among multiple machines by manipulating packets as they are processed by the Linux TCP/IP stack. One of the most commo
Performance and Tuning - LVSKB
Performance Measurement Tools testlvs: simple throughput testing tool for LVS from Julian, see the testlvs page ab: apache benchmark httperf: a tool for measuring web server performance from HP, see the httperf homepage Tsung: an open-source multi-protocol distributed load testing tool, see Tsung project homepage specweb: web server benchmark by spec.org, it is now specweb2005. webbench: a license
Kernel Load-Balancing for Docker Containers Using IPVS
Yesterday at DockerCon Europe, Andrey Sibiryov, a senior engineer at Uber Technologies, demonstrated how to improve load-balancing performance using an open-source technology that’s been part of the Linux kernel for more than a decade — IPVS. [caption id="attachment_2749" align="aligncenter" width="4000"] Andrey Sibiryov discusses IPVS at DockerCon Europe.[/caption] What Is IPVS?To be precise, IPV
32. LVS: Performance and Kernel Tuning
We are now (2006) in an era where the CPU is no longer rate determining in an LVS director. Ratz 20 Feb 2006 The processor never is an issue regarding LVS unless your NIC is so badly designed that the CPU would need to take over the packet processing ;) (a non-LVS article on Configuring large scale unix clusters by Dan Kegel.) The article performance data for a single realserver LVS, shows how to
结缕草-
结缕草介绍： 同时，我们扩大阅读界面，使得大屏幕的电脑有更宽广的可视空间，方便大家接收更多的信息。 各位亲爱的读者盆友们，网易新闻首页新版于7月1日上线。 所以我们就出了一些问题让你们回答网易新闻频道首页改版意见反馈您对新版新闻频道的整体感觉如何？（单选）非常满意比较满意一般满意不太满意，喜欢旧版您对新版满意的地方是？（多选）页面布局简洁清晰内容分布合理，易找网易原创更有态度能够沉浸阅读信息流内容丰富无所谓您对新版不满意的地方是？（多选）内容混乱找不到东西信息流过长，耽误时间更新不及时原来的栏目找不到了，比如________广告太多加载太慢无所谓改版后您常看的地方是？（多选）原创栏目头条信息流，可以慢慢浏览右侧的其他频道补充内容图片H5策划我都不知道该看哪对于新闻您的要求是？（多选）内容更新及时内容丰富多元希望看到原创态度想看多图就是随便看看其他查看结果起止时间：2016-06-02至20
美女直播间围观视频-
美女直播间围观视频介绍： “这倒没有……”王晓峰摇头。 “徐老允许我在这里说？” “五枚……两亿？”盔甲青年眼睛一下瞪圆：“你卖的是六品丹药？怎么不去抢呢？”“我们能够修炼……而且，进步很快……” 美女直播间围观视频评测： “是福不是祸，是祸躲不过……” “沈哲……岂不很危险！”“一、一万两？”差点没拿住手中的纸，鱼老一声叹息“少爷这是被人骗了！” “是啊，剧烈的爆炸，可以让空中凝固的元素粒子，分散开来，变得活跃，不过，这种活跃度，不会持续多久，最多一个时辰，就会重新凝聚！” “这……”眉毛一跳，沈从心差点没晕过去。 “萧九儿……那是我的位置，有点……有点味，要不，我跟你换过来……”“已经开始了……”钟玉楼摆了摆手。“我准备好了材料，只求徐宗师出手，炼制出兵器，愿意支付巨额酬劳！” “沈家家主可在？这就是你们的待客之道？如果真是如此，在下就告辞了……” 美女直播间围观视频总结： “云霄寸拳
GORBとConsulで，お気楽L4ロードバランス - Qiita
別記事で，Docker クラスタのロードバランスを容易に実現する GORB を紹介しました． 記事中で， GORB には単体で使うとクラッシュ時のデータの永続性が無いという致命的な問題があること，これを克服するため，Consul を用いることができると書きました． 内部ロードバランサとして用いる想定で，実際に設定してみました． 環境 3ノードの CoreOS です．全てのノードで LVS は有効にしてあります． IP forwarding と LVS が有効になっていれば，他の Linux 系ディストリビューションでも同様と思います． それぞれのノードのホスト名は node0, node1, node2 とします． 全ての作業は node0 上で行っています． Consul クラスタの立ち上げ Consul の詳細はここでは省略し，作業手順だけ記します． Bootstrap マスタ Con
雑な LVS/TUN の解説図 - mura日記 (halfrack)
LVS で IPIP と DR(DSR) を用いる場合のパケット解釈フローについて、雑に図を起こしたので Web へ放流しておきます。 リンク先にオリジナルサイズもあります。 ホワイトボードを写真に撮ったレベルでツッコミどころもありますが、新人に聞かれて説明するときのお供に便利かもしれません。 keepalived + ipvs + tunl0 + lo0 の構成は文章で説明するにはややこしすぎるので、解説するためにこういう図を何度もホワイトボードに書いた覚えがあります。
8. LVS: LVS-Tun
LVS-Tun is an LVS original. It is based on LVS-DR. The LVS code encapsulates the original packet (CIP->VIP) inside an ipip packet of DIP->RIP, which is then put into the OUTPUT chain, where it is routed to the realserver. (There is no tunl0 device on the director; ip_vs() does its own encapsulation and doesn't use the standard kernel ipip code. This possibly is the reason why PMTU on the director
Seesaw: scalable and robust load balancing
As Site Reliability Engineers who manage corporate infrastructure at Google, we deal with a large number of internally used services that need to be load balanced for scalability and reliability. In 2012, two different platforms were used to provide load balancing, both of which presented different sets of management and stability challenges. In order to alleviate these issues, our team set about
28. LVS: Persistent Connection (Persistence, Affinity in cisco-speak)
"persistent connection" a term used for clients connecting to webservers and databases. For Apache this is called a "keepalive" and is set in httpd.conf and is described in persistent_http. "persistent connection" used in LVS. LVS persistence is closer to the concept of "affinity" as used by cisco The two types of persistence are quite different. Unfortunately, both features are persistent and can
DSAS開発者の部屋:こんなに簡単！ Linuxでロードバランサ (1)
DSASのロードバランサは高価なアプライアンス製品ではなく、LinuxのLVS (Linux Virtual Server)を利用しています。 安価、というか、ハードウエア以外は金銭的コストがゼロなので、一般のクライアントからのアクセスを受ける外部ロードバランサのほかに、内部サービス用のロードバランサも配置しています。それぞれactive, backupで2台ずつあるので合計で4台もロードバランサがあることになります。(こんな構成を製品を使って組んだら数千万円すっとびますね) また、ネットワークブートでディスクレスな構成にしているので、ハードディスが壊れてロードバランサがダウンした、なんてこともありません。 ですので「ロードバランサは高くてなかなか導入できない」という話を耳にする度にLVSをお勧めしているのですが、どうも、 なんか難しそう ちゃんと動くか不安 性能が出ないんじゃないか 等々
負荷分散技術-Linux Virtual Server | 技術文書 | 技術情報 | VA Linux Systems Japan株式会社
「LVS」は、2つのモジュールと1つのコマンド群から構成されています。 ip_vs カーネルモジュール スケジューラカーネルモジュール ipvsadmコマンド 提供されるサービスのポート番号宛のパケットを検出し、それと対応する実サーバに対して、パケットの転送処理を行います。TCPコネクションを、あらためて開設する際のパケット（実サーバとの対応づけがされていないパケットを指す）や、UDPパケットの場合には、転送先の実サーバについてどれにすべきか、スケジュールカーネルモジュールに問い合わせを行ってから処理をします。 パケット転送方法には、以下のような種類があります。 LVS/NAT NATにより宛先IPアドレスを実サーバアドレスに変換して転送する ロードバランサ宛に到着したパケットは、宛先IPアドレスを実サーバのものに変換することで実サーバに転送します。実サーバからクライアントへの応答パケット
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
クックパッドのLVSについて
surealived
GitHub - google/seesaw: Seesaw v2 is a Linux Virtual Server (LVS) based load balancing platform.
