Linux カーネルをバイパスして TCP 通信を 10 倍速くする | IIJ Engineers Blog

【IIJ 2023 TECHアドベントカレンダー 12/16の記事です】 この記事について 背景：TCP はコンピュータネットワークの通信において広く利用されているプロトコル・標準化された通信規格です。コンピュータは TCP/IP スタックと呼ばれるようなソフトウェアを実行することで、定められた規格に則って通信を行います。汎用 OS 環境では、TCP/IP スタックは多くの場合、カーネル空間に OS 機能の一部として実装されています。 課題：通信に関するソフトウェアの研究コミュニティでは、そのようなカーネル空間に実装されている TCP/IP スタックは、近年の高速な NIC の性能を十分に引き出すことが難しいという課題が指摘されてきました。 テクニックの紹介：当記事では、近年の研究コミュニティにおいて比較的一般的な高速化テクニックとされている「カーネルをバイパス（迂回）して TCP 通信を

[napsucks]

おっさんなのでTOEはバグの宝庫、パケットふん詰まりや謎のパフォーマンス低下の原因というイメージなのだが、今はそうでもないのかな。TSOぐらいならまだしも。。。

[so-apps]

そのやり方だと、TOEをはじめハードウェア支援は諦める感じなんだろうな。でも、CPU使用率は大事。req/secしか計測していないのも気になる。

[kkobayashi]

それバイパスじゃなくてユーザー空間に軽量なTCPスタックを実装しましたって話では？個人的には車輪の再開発するくらいなら送信の仕方を工夫するとかUDP使うとかした方がいいと思うけど

[dekaino]

汎用OSの用途から外れたことしたいなら、汎用でないリアルタイム系OS(T-Kernelなど)を使う手もあるよね。まあLinuxでカーネルバイパスしてユーザランドでごにょごにょやる方が学習コストは低くて済むだろう。

[xsde]

コンテキストスイッチのオーバーヘッドをなくすために全部ハイパーバイザー内でとかそういう話ではなかった。/NATだのフィルタリングだのロギングだの実装してもこの性能がでるのか気になった。

[defiant]

この記事をおすすめしました

[superminami]

tcp linux

[daishi_n]

カーネルドライバーとして実装されているTCP/IPスタックをユーザーランドに実装してNICを直叩きする方向か。昔のMachやGNU Hurdのようなマイクロカーネル的実装とも違うしHW直叩きは先祖帰りだよねえ

[hiroshitoda]

ウオッ

[revert]

DPDKはCDNを作るときに使われるイメージを持ってるけど実際のところの応用例はよく知らないのよね

[togusa5]

図が分かりにくすぎてびっくりする

[rzi]

なるほどそういうこともあるのか。TCP通信以外にも応用範囲ありそう

[bildkampf]

相変わらずネットワーク勉強不足なので戒めブクマ

[toro-chan]

まぁルータ内とかのとても限った環境なら徹底的にテストするからいいだろうけど、そうでないならユーザランドでカーネルレベルのプログラム動作させたらユーザランドの停止==OSの停止なので運用できないだろう

[nakag0711]

assertの中に処理を書くとリリースビルドしたら丸ごと削除されてしまわないだろうか…／ユーザープログラムがNIC直接制御ということは一つのプロセスがNICを占有するのか？

[T-miura]

“DPDK”安定的？に利用してるのなにがあったっけ？winのファイル転送なんかは使うモードあったよな？

[atsushifx]

ユーザー空間内にTCP/IP実行用にデバイス空間と呼ぶべき領域を確保してTCP通信を高速化する手法って感じ。カーネル制御の外なので、セキュリティとのトレードオフが気になる