【v6プラス/OCNバーチャルコネクトでもNATタイプA】LinuxでポートセービングIPマスカレード付きの制限コーン風NAT（EIM/ADF）を動かす - turgenev’s blog
概要 NAT動作をめぐる誤解まとめ - turgenev’s blogでは、UDPホールパンチングのしやすさとポートの節約を両立するには「Address Dependentなマッピングを保持しつつEIM風に動作するADFなNAT」が一番いいという話を書きました。これだとv6プラスやOCNバーチャルコネクトでもNintendo SwitchのNAT判定が「タイプA」になります。 この記事では、Symmetric NAT/Full Cone NATをサポートするruby製NATであるrat（GitHub - kazuho/rat: NAT written in pure ruby）を手元で動かし、またコードを少しだけ変更することで上記のようなNATを実際に動作させるところまでを紹介します。変更後のコードはGitHub - ge9/rat: NAT written in pure rubyに公開
Linuxの各種仮想ネットワークデバイスにおけるSegmentation Offloadの振る舞い
LinuxにおけるSegmentation OffloadとはTCPなどのトランスポートレイヤのプロトコルが送信するデータをMTUに収まるように分割する処理(Segmentation)をNICのレイヤにオフロードすることによってスループットを向上させる技術です. Segmentation Offloadを使った場合, トランスポートレイヤのプロトコルはIPレイヤで許容される最大のサイズ(64KB程度)までのデータを1つのIPパケットで送信することができます. 受信側は逆にネットワークから入ってきたSegmentation済みのパケットをNICのレイヤで1つの大きなIPパケットに集約した上でプロトコルスタックの処理にかけます. これによってプロトコルスタックで処理されるパケットの個数を減らすことができるため, スループットが上がるという仕組みです. Linuxには仮想ネットワークデバイスとい
Linuxカーネル 6.8ではネットワークが最適化されてTCPの同時接続パフォーマンスが約40％向上する見込み
記事作成時点で開発中のLinux 6.8カーネルでは、ネットワークに関する部分にいくつかの重要な改良が加えられており、多数の同時接続を伴うTCPパフォーマンスが最大40％向上しているとのことです。 [PATCH v8 net-next 0/5] Analyze and Reorganize core Networking Structs to optimize cacheline consumption - Coco Li https://lore.kernel.org/netdev/[email protected]/ Linux 6.8 Network Optimizations Can Boost TCP Performance For Many Concurrent Connections By ~40% - Phoronix https://www.phoronix.com/ne
Linux カーネルをバイパスして TCP 通信を 10 倍速くする | IIJ Engineers Blog
【IIJ 2023 TECHアドベントカレンダー 12/16の記事です】 この記事について 背景：TCP はコンピュータネットワークの通信において広く利用されているプロトコル・標準化された通信規格です。コンピュータは TCP/IP スタックと呼ばれるようなソフトウェアを実行することで、定められた規格に則って通信を行います。汎用 OS 環境では、TCP/IP スタックは多くの場合、カーネル空間に OS 機能の一部として実装されています。 課題：通信に関するソフトウェアの研究コミュニティでは、そのようなカーネル空間に実装されている TCP/IP スタックは、近年の高速な NIC の性能を十分に引き出すことが難しいという課題が指摘されてきました。 テクニックの紹介：当記事では、近年の研究コミュニティにおいて比較的一般的な高速化テクニックとされている「カーネルをバイパス（迂回）して TCP 通信を
How to receive a million packets per second
Last week during a casual conversation I overheard a colleague saying: "The Linux network stack is slow! You can't expect it to do more than 50 thousand packets per second per core!" That got me thinking. While I agree that 50kpps per core is probably the limit for any practical application, what is the Linux networking stack capable of? Let's rephrase that to make it more fun: On Linux, how hard
ipftrace2で始めるLinuxネットワークスタック探訪 - Qiita
皆さんはLinuxネットワークスタックの問題にあたってしまった時、あるいは単なる興味でLinuxネットワークスタックの中を調べたいと思い立った時、どのようにして調査を進めますか？カーネルのソースコードに printk を仕込んでカーネルを再コンパイルするでしょうか？もしくは最初からソースコードを読むという強い方もいらっしゃるかもしれません。どちらの方法もなかなかの茨の道です。おそらく、ほとんどの方は最終的にftrace やbpftraceなどのDynamic Tracingツールを使って、カーネルの動作を実際に動かしながら見るという方法に至ると思います。 この記事では ipftrace2 というDynamic Tracingツールの基本的な使い方をサンプルとともに紹介します。ipftrace2はネットワークスタック、特にパケット処理の部分をトレーシングをすることに特化した作りになっており、
【Linux】Nginxのtcpのbacklogの設定が何をしているのかに入門する - 地方エンジニアの学習日記
目次 目次 概要 tcpソケットプログラミングとは サーバ側 3way-handshakeと状態遷移 backlogとは syn-queue どうやったら溢れるか 溢れたらどうなるか accept-queue どうやったら溢れるか (メモ)Nginxのアーキテクチャ 溢れたらどうなるか tcp_abort_on_overflow=1 tcp_abort_on_overflow=0 まとめ 概要 nginx.org backlog=number sets the backlog parameter in the listen() call that limits the maximum length for the queue of pending connections. By default, backlog is set to -1 on FreeBSD, DragonFly BSD,
【書評】「Linuxで動かしながら学ぶTCP/IPネットワーク入門」手を動かしてTCP/IPを学びたい人におすすめの一冊 | DevelopersIO
こんにちは。CX事業本部MAD事業部のYui(@MayForBlue)です。 最近読んだ「Linuxで動かしながら学ぶTCP/IPネットワーク入門」という本が、楽しくTCP/IPに入門できて良いなと思ったのでご紹介させていただきます。 本の目次 はじめに TCP/IP とは Network Namespace イーサネット トランスポート層のプロトコル アプリケーション層のプロトコル NAT ソケットプログラミング おわりに 付録 環境構築 シェルの基本的な使い方 この本を読んで学べること この本ではTCP/IPのネットワーク、パケットの流れを手元の仮想環境を使って学ぶことができます。 環境については、Network Namespace という、ネットワーク設定を分割して管理できるLinuxカーネルの機能を使います。 用意した環境の中で、通信を行うコマンドを自分で打ち込み、パケットの流れを
sk_buff - Linuxカーネルメモ
3. その他のデータ構造 3.1 frags配列 skb_shared_info内のfrags配列がある。この配列を使用することで、パケットデータを非連続な領域に分断して保持することができる。fragsを使用した状態のsk_buffを図3.1に示す。 ただし、このようにfragsパケットデータを分断して持つ形式はネットワークカード(とそのドライバ)がScatter/gather I/O(*1)に対応していないと使えない。Scatter/gather I/Oに対応しているとデバイスにNETIF_F_SGフラグが設定されているので、送信デバイスにこのフラグが立っている場合のみ、このような形式を使う。 frags配列の要素はskb_frag_structとなっており(ポインタではなくそのもの)、これは、分断されたデータがどこにあるかを管理する。 skb_frag_structはデータが置かれてい
Diagnosing Packet Loss in Linux Network Virtualization Layers: Part 1 - IBM Blog
Packet loss is the most common and the most serious issue in networks. Sometimes it takes weeks or even months for network administrators and developers to diagnose packet loss. Diagnosis becomes even more difficult in a cloud infrastructure, where the network is highly virtualized by multiple layers — from an application and a guest operating system to the host operating system and a network card
ネットワークスタック内の謎の2バイトについて探る - Handwriting
この記事はTSG Advent Calendar 2016 - Adventarの25日目として書かれました。 自分既にOBですし、25日目ともなると「何か壮大なネタを…」とか考えあぐねていたのですが、現実的なネタを思いつけなかったので最近やってたことでも書きます。 先日LinuxのNICドライバの開発についてのエントリを書いていたのですが、その与太話でもしようかなと思います。 lv4.hateblo.jp sk_buff構造体 Linuxのカーネル内では、ネットワークパケットはsk_buff構造体によって扱われています。 （ソースコード → Linux/include/linux/skbuff.h - Linux Cross Reference - Free Electrons） 説明としては How SKBs work が非常にナイスだと思います。 要点としては head data t
約15年前の「無線LANルーター」が今でも販売され続けている理由とは？
by Kyle Adams 国内の家庭のネットワーク環境は、10Gbpsの回線プランの登場や「Wi-Fi 6」に対応した無線LANルーターの増加など、ここ数年で高速化・高品質化が進んでいます。それにもかかわらず、2005年に発売され記事作成時点まで販売され続けている「無線LANルーター」があると、海外ニュースサイト「Tadium」の編集者であるアーニー・スミス氏が語っています。 WRT54G History: The Router That Accidentally Went Open Source https://tedium.co/2021/01/13/linksys-wrt54g-router-history/ 今でこそ家電量販店などに気軽に入手できるルーターですが、1990年代においては非常に高価な機器であり、一般の人には手の届かない存在でした。また、1990年代後半に一般家庭に普
Introducing the Calico eBPF dataplane | Tigera
Today the Calico team merged a new dataplane option to Calico, based on eBPF, the Linux kernel’s embedded virtual machine. This exciting new dataplane will be included as a Tech Preview capability in the next version of Calico, v3.13. If you aren’t already familiar with the concept of eBPF, it allows you to write mini programs that can be attached to various low-level hooks in the Linux kernel, fo
Debian GNU/LinuxのKVMでmacvtapを使用する - Keep It Simple, Stupid
Debian GNU/Linux 8.8（jessie）の KVM で仮想マシンのネットワークインターフェースに macvtap を使用するために調べたことと libvirt のネットワークをおさらいした時のメモです。 はじめに KVM の仮想マシンをホストと同じネットワークに接続するためにホスト OS のネットワークインターフェースをブリッジ化していましたが、Linux kernel の macvlan 機能を使用した macvtap を使うことでホスト OS の負荷が下がりパフォーマンスが良くなるらしいことを知りました。 macvtap でつないだ kvm ゲストとホスト間の通信 - TenForward 参照先の文書を眺めただけではいまいちどのようなものか分かりませんでしたが、同じ著者による LXC の連載記事で macvlan について詳しい説明がありました。 第6回 Linuxカ
Dockerとネットワークネームスペースの関係 - Qiita
前回はDockerCEのインストールを行いました。 https://qiita.com/sugimount/items/0b14b8d544ab1d95e219 今回は、Dockerとネットワークネームスペースの関係を見ていきます。 コンテナ実行前の各種状態を確認 Dockerに関係している関連技術について、コンテナ実行前のタイミングで各種状態を確認していきます。 DockerImageの現在のものを一覧 [root@sugi-docker-registory ~]# docker image ls REPOSITORY TAG IMAGE ID CREATED SIZE hello-world latest f2a91732366c 3 months ago 1.85kB [root@sugi-docker-registory ~]# ip -d a 1: lo: <LOOPBACK,U
Abusing Linux's firewall: the hack that allowed us to build Spectrum
Abusing Linux's firewall: the hack that allowed us to build Spectrum Loading... Today we are introducing Spectrum: a new Cloudflare feature that brings DDoS protection, load balancing, and content acceleration to any TCP-based protocol. CC BY-SA 2.0 image by Staffan Vilcans Soon after we started building Spectrum, we hit a major technical obstacle: Spectrum requires us to accept connections on any
TCP Tracepoints
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Diagnosing Packet Loss in Linux Network Virtualization Layers: Part 2 - IBM Blog
Why does /proc/net/tcp6 represents ::1 as ::100:0
Having The Security Rug Pulled Out From Under You - Akamai Security Intelligence and Threat Research Blog
