[PDF]Serving Netflix Video at 400Gb/s on FreeBSD - NETFLIX, Drew Gallatin at EuroBSDCon 2021
Serving Netflix Video at 400Gb/s on FreeBSD Drew Gallatin EuroBSDCon 2021 Outline: ● Motivation ● Description of production platform ● Description of workload ● To NUMA or not to NUMA? ● Inline Hardware (NIC) kTLS ● Alternate platforms Motivation: ● Since 2020, Netflix has been able to serve 200Gb/s of TLS encrypted video traffic from a single server. ● How can we serve ~400Gb/s of video from the s
How to stop running out of ephemeral ports and start to love long-lived connections の副読本 - 薄いブログ
https://blog.cloudflare.com/how-to-stop-running-out-of-ephemeral-ports-and-start-to-love-long-lived-connections/ を読んでいて理解できなかったところをまとめた記事です。 元記事の簡単な概要 エフェメラルポートが枯渇しないようにローカルポートの再利用をしたい。 TCP の普通のユースケースでは自動で再利用されるので困らない。 送信元アドレスを固定する場合はうまく再利用できなかったが 2015 年から IP_BIND_ADDRESS_NO_PORT が追加され問題なく再利用できるようになった。 送信元ポートも固定する場合は SO_REUSEADDR を使うことで再利用ができる。 ところが UDP ではローカルポートの再利用がうまく動かないし、TCP のような簡単な回避策はない。 いか
Linux stack or BSD stack｜oraccha
LinuxのTCP/IPスタックと*BSDのTCP/IPスタックどっちが優れているのかというのはよく出てくる質問で、探せばベンチマーク結果もいろいろ出てくるが、当然TCP/IPスタック以外のカーネル構造の違いも大きいので、apple-to-appleの比較は難しい。 ユーザベースではLinuxが圧倒的なのだろうけど、NetflixのCDNではFreeBSDが使われているのは有名（「Netflix and FreeBSD: Using Open Source to Deliver Streaming Video 」[FOSDEM2019]）。また、「サービス可用性を改善するための異種OS間プロセスマイグレーションの活用」によると、一般的にLinuxは常に高スループットであるが、高負荷時にはエラーが頻発する。一方、FreeBSDは高負荷時でもエラーを起こさない。粘りがあるというか、ダイソンの掃
Junos OS Evolved Overview | Junos OS Evolved | Juniper Networks
Junos OS Evolved is a unified, end-to-end network operating system that provides reliability, agility, and open programmability for successful cloud-scale deployments. With Junos OS Evolved, you can enable higher availability, accelerate your deployments, innovate more rapidly, and operate your network more efficiently. We've aligned Junos OS Evolved with Junos OS so that you can seamlessly contin
あなたのネットワークスタック正しく設定されていますか？ - Qiita
はじめに Linux Advent Calendar 10 日目の記事です。 運用や研究開発の現場では、ソフトウェアの実験、または機器のテストや選定などのために、ベンチマークツールや自前のアプリケーションでコンピュータ間の通信速度を計測する機会が多々あると思います。一方で10Gbpsや40Gbpsといった昨今の高速ネットワークにおいては、これらの計測結果はアプリケーションの通信API部分の実装、カーネルパラメータまたはコンパイルオプションによって大きく変わってしまうため、正確な計測を行うためにはこれらを正しく設定/理解する必要があります。この記事では、ネットワーク周りのカーネルとアプリケーションの動作の概要と、その中の重要なポイントを理解することを目的にします。 ネットワークプログラミングのおさらい まず最初に、TCPを使う今時のサーバプログラムがどのようにできているか簡単におさらいします
100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ | FAworksブログ
100万ppsを受信するプログラムを書くのはどのくらい難しいのか？【翻訳】CloudFlare ブログ 無料枠が充実していることでも人気なコンテンツデリバリネットワーク (CDN) を提供するCloudFlareは、最近1億1000万ドルの資金調達が発表され、ますます注目を集めている。そんなCloudFlareのブログから、ネットワークチューニングの知見を紹介したい。 原文：https://blog.cloudflare.com/how-to-receive-a-million-packets/ (2015-11-20) ※元記事の筆者には直接翻訳の許可を頂いて、翻訳・公開しております。 CC BY-SA 2.0 image by Bob McCaffrey 先週、何気ない会話の中で同僚がこう話すのをふと耳にした。「Linuxのネットワーク・スタックが遅いんだよ！1コアあたり5万pps以上
LinuxのARPとL2スイッチのお話 - masayoshiの日記
この記事は、はてなエンジニアアドベントカレンダー2016の12月19日の記事です。 developer.hatenastaff.com 昨日はid:taketo957くんの 10ms以下のレスポンスタイムを支える継続的負荷テスト - taketo957の日記 でした！ Webオペレーションエンジニアのid:masayoshiです。 2016年に入社後、基盤チームとして仮想化、ネットワーク周りを中心に見ています。 さて、この記事ではLinuxのARPの挙動とその挙動から起こった問題を紹介しようと思います。 長々と記事を読みたくない人向けに結論をまとめるとLinuxのARPはTCP通信で使われ続ける限りキャッシュが飛ばないという挙動になるので、複数のL2スイッチにまたがったセグメントや非対称ルーティングをしている場合は気をつけましょうという話が書かれています。 今回紹介する事例自体は別に新規性
82471 – net/core/dev.c skb_war_bad_offload
Created attachment 146761 [details] kernel config Aug 6 06:46:50 prod-ent-ceph03.dc2.ec.loc kernel: [29530.973225] ------------[ cut here ]------------ Aug 6 06:46:50 prod-ent-ceph03.dc2.ec.loc kernel: [29530.973236] WARNING: CPU: 2 PID: 0 at net/core/dev.c:2246 skb_warn_bad_offload+0xc8/0xd5() Aug 6 06:46:50 prod-ent-ceph03.dc2.ec.loc kernel: [29530.973238] : caps=(0x000000000419fba9, 0x000000000
LVS-NAT one arm - nyantのブログ
LVS-NATで、real serverをいじらないで済む一本腕な構成を考えて見ました。 CONFIG_IP_VS_NFCT = y なカーネルが必要です。 real serverでは、directorサーバからのアクセスに見えます。 構成 client: 192.168.1.1 director: 172.16.1.2 (VIP: 172.16.1.1) realserver: 10.1.1.1 directorで設定 sysctl echo 1 > /proc/sys/net/ipv4/ip_forward echo 1 > /proc/sys/net/ipv4/vs/conntrack vipの設定 ip addr add 172.16.1.1 label eth0:1 dev eth0 arping -U -c 1 -I eth0 172.16.1.1 ipvsadm ipvsad
Linux Kernel Networking
Linux Kernel Networking takes you on a guided in-depth tour of the current Linux networking implementation and the theory behind it. Linux kernel networking is a complex topic, so the book won't burden you with topics not directly related to networking. This book will also not overload you with cumbersome line-by-line code walkthroughs not directly related to what you're searching for; you'll find
SPDYとLinuxの間でGoogleマップがハマった落とし穴 - ぼちぼち日記
tl;dr 書いていたら思わず長文の大作になってしまいましたので、プロトコルオタ以外の方は文章の多さに退屈されるかと思います。GoogleマップサービスでSPDYの問題が発覚し、GoogleがLinuxカーネルに修正を加えて対応したというお話です。将来 Linux + nginx + SPDY を使いリバースプロキシでサービス運用を検討されている方は参考になるかもしれません。 1. はじめに、 プロトコルに執着する年寄りエンジニアの老害が叫ばれて久しい。 年甲斐もなく自分好みのパケットを追っかけるおやじエンジニアの姿を見て眉をひそめる若者も多いと聞く。 そんな批判に目もくれず、今日も一つ、プロトコルオタのネタをブログで公開したいと思いますw 今回はちょうど１年ほど前に書いたブログ記事 「GmailがハマったSPDYの落とし穴」の続編です。といっても今度の舞台は、Googleマップ。ネタ元も
http://rydn.jp/sysctl/
ミリ秒 北海道（さくらインターネットVPS 石狩リージョン）から沖縄（www.ii-okinawa.ad.jp）まで、pingで45ms前後です。 米国カリフォルニア（lg.he.net）から東京（OCN フレッツ光）まで、pingで190ms前後です。 計算結果 BDP（帯域遅延積） = /etc/sysctl.conf # ソケット用バッファメモリ # MAXサイズは、帯域遅延積の２倍 net.core.rmem_max = net.core.wmem_max = net.ipv4.tcp_rmem = net.ipv4.tcp_wmem = # ----- 以下、決めうち ----- # default: 128 net.core.somaxconn = 1024 # default: 32768 61000 net.ipv4.ip_local_port_range= 1
Optimising NginX, Node.JS and networking for heavy workloads
9 Min Read Optimising NginX, Node.JS and networking for heavy workloads Used in conjunction, NginX and Node.JS are the perfect partnership for high-throughput web applications. They’re both built using event-driven design principles and are able to scale to levels far beyond the classic C10K limitations afflicting standard web servers such as Apache. Out-of-the-box configuration will get you prett
Setting TIME_WAIT TCP
We're trying to tune an application that accepts messages via TCP and also uses TCP for some of its internal messaging. While load testing, we noticed that response time degrades significantly (and then stops altogether) as more simultaneous requests are made to the system. During this time, we see a lot of TCP connections in TIME_WAIT status and someone suggested lowering the TIME_WAIT environmen
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://downloadmirror.intel.com/22919/eng/README.txt
VTI の中身
Kauli SSPにおけるVyOSの導入事例
10GbE時代のネットワークI/O高速化
IPVS: Allow boot time change of hash size
Bridge-nf Frequently Asked Questions