Linux Kernel vs DPDK: HTTP Performance Showdown
# OverviewIn this post I will use a simple HTTP benchmark to do a head-to-head performance comparison between the Linux kernel's network stack, and a kernel-bypass stack powered by DPDK. I will run my tests using Seastar, a C++ framework for building high-performance server applications. Seastar has support for building apps that use either the Linux kernel or DPDK for networking, so it is the per
Linux Load Averages: Solving the Mystery
Recent posts: 28 Apr 2023 » eBPF Observability Tools Are Not Security Tools 01 Mar 2023 » USENIX SREcon APAC 2022: Computing Performance: What's on the Horizon 17 Feb 2023 » USENIX SREcon APAC 2023: CFP 02 May 2022 » Brendan@Intel.com 15 Apr 2022 » Netflix End of Series 1 09 Apr 2022 » TensorFlow Library Performance 19 Mar 2022 » Why Don't You Use ... 26 Sep 2021 » The Speed of Time 06 Sep 2021 »
10 Useful Sar (Sysstat) Examples for UNIX / Linux Performance Monitoring
10 Useful Sar (Sysstat) Examples for UNIX / Linux Performance Monitoring Using sar you can monitor performance of various Linux subsystems (CPU, Memory, I/O..) in real time. Using sar, you can also collect all performance data on an on-going basis, store them, and do historical analysis to identify bottlenecks. Sar is part of the sysstat package. This article explains how to install and configure
6万ミリ秒でできるLinuxパフォーマンス分析 | Yakst
NetflixのシニアパフォーマンスアーキテクトであるBrendan Gregg氏による、Linuxサーバにログインして60秒でまず調べることのまとめ。 パフォーマンス問題でLinuxサーバーにログインしたとして、最初の1分で何を調べますか？ Netflixには、多数のEC2 Linuxからなるクラウドがあり、そのパフォーマンスを監視したり調査したりするための数々のパフォーマンス分析ツールがあります。その中には、クラウド全体にわたる監視を行うAtlasや、オンデマンドにインスタンスの分析を行うVectorがあります。これらのツールは多くの問題を解決する手助けをしてくれますが、各インスタンスにログインし、標準的なLinuxパフォーマンスツールを実行する必要がある場合もあります。 この記事では、すぐ使えるはずの標準的Linuxツールを使いコマンドラインにおいて、最適化されたパフォーマンス調査を
Why we use the Linux kernel's TCP stack
A recent blog post posed the question Why do we use the Linux kernel's TCP stack?. It triggered a very interesting discussion on Hacker News. I've also thought about this question while working at CloudFlare. My experience mostly comes from working with thousands of production machines here and I can try to answer the question from that perspective. CC BY 2.0 image by John Vetterli Let's start wit
Linux Performance Analysis in 60,000 Milliseconds
You log in to a Linux server with a performance issue: what do you check in the first minute? At Netflix we have a massive EC2 Linux cloud, and numerous performance analysis tools to monitor and investigate its performance. These include Atlas for cloud-wide monitoring, and Vector for on-demand instance analysis. While those tools help us solve most issues, we sometimes need to login to an instanc
Linux ネットワークパフォーマンスの機能強化 - Qiita
ソフトウェア割り込みが偏る？ Linuxを利用していて、ネットワーク負荷が高いサーバを運用していると、特定のCPU負荷が高くなっている事があるのですが、そのようなケースを経験されたことはないでしょうか？ topでみると特定CPU(topを起動して1を押すとCPU単位で確認できる)の%si(software interrupt)がやたら高くなっている場合、それはネットワークの負荷が原因かも知れません。(実際のtopを貼り付けたかったのですが、持ち合わせがなかった・・・。)何も設定していない場合はネットワークの割り込みは特定のCPUで行われるため、ネットワークの割り込みに関連づいたCPUの%siが高くなります。ソフトウェア割り込みを確認するには、/proc/interruptsを確認しましょう。 # cat /proc/interrupts CPU0 CPU1 CPU2 CPU3 0: 129
Kernel bypass
In two previous posts we've discussed how to receive 1M UDP packets per second and how to reduce the round trip time. We did the experiments on Linux and the performance was very good considering it's a general purpose operating system. Unfortunately the speed of vanilla Linux kernel networking is not sufficient for more specialized workloads. For example, here at CloudFlare, we are constantly dea
Linux サーバの基本的なシステム性能とOSジッタを計測するためのツールキット | FAworks
Jean Dagenaisは、mechanical-sympathyのスレッドで、Gil Teneの記事「Linux OSのジッタを体系的に低減する魔術」（訳注：日本語版）へのresponseとして、素晴らしい内容の記事を投稿しました。ジッタの問題を調査するために役立つツールが満載です。出典が不完全であることをお詫びします。Jeanのことを示すウェブページを確認できませんでした。 「Linuxのジッタを見つけるための体系的な方法」で得られた素晴らしい情報を補うためにツールキットを作成しました。現在および今後のトレーディング・プラットフォームを評価するためにそれを使用しています。 皆様にとっても役に立つかもしれませんので、含まれているツールと、それらのソースコードや使用方法に関する情報を得るためのURLをここに紹介します。私はソースコードや関連するブログ記事を読むことにより多くのことを学んで
How to achieve low latency with 10Gbps Ethernet
Good morning! In a recent blog post we explained how to tweak a simple UDP application to maximize throughput. This time we are going to optimize our UDP application for latency. Fighting with latency is a great excuse to discuss modern features of multiqueue NICs. Some of the techniques covered here are also discussed in the scaling.txt kernel document. CC BY-SA 2.0 image by Xiaojun Deng Our expe
perf + Flame Graphs で Linux カーネル内のボトルネックを特定する - ablog
Linuxでddで1GBのファイルを作成し perf でプロファイリングし、Flame Graph (炎のグラフ？)にして可視化したものです。 Flame Graphs は perf(Linux)、SystemTap(Linux)、DTrace(Solaris、Oracle Linux(UEK)、Mac OS X、FreeBSD)、XPerf.exe(Windows) などでのプロファイリング結果を可視化して最も使われているコードパスを早く正確に特定することができます。実体はプロファイリング結果をグラフ(SVG)に変換する Perl スクリプトです。 下から上に行くほどコールスタックが深く、左から関数名のアルファベット順でソートされています。一番上で横幅が広い関数がCPUを長く使っています。今回は "_aesni_enc1" つまり暗号化がボトルネックになっていることがわかります。 システ
Linux Performance Analysis: New Tools and Old Secrets
Recent posts: 23 Apr 2017 » USENIX/LISA 2013 Blazing Performance with Flame Graphs 16 Mar 2017 » perf sched for Linux CPU scheduler analysis 06 Feb 2017 » Flame Graphs vs Tree Maps vs Sunburst 05 Feb 2017 » Where has my disk space gone? Flame graphs for file systems 31 Jan 2017 » Golang bcc/BPF Function Tracing 27 Dec 2016 » Give me 15 minutes and I'll change your view of Linux tracing 30 Nov 2016
Unlocked 10Gbps TX wirespeed smallest packet single core
Achievement unlocked, 10Gbit/s full TX wirespeed smallest packet size on a single CPU core (14.8Mpps). Recent changes to the Linux kernels lower TX layers have unlocked the full (TX side) potential of the NIC drivers and hardware. The single core 14.8Mpps performance number is an artificial benchmark performed with pktgen, which besides spinning the same packet (skb), now also notifies the NIC har
Improving Linux networking performance [LWN.net]
Please consider subscribing to LWNSubscriptions are the lifeblood of LWN.net. If you appreciate this content and would like to see more of it, your subscription will help to ensure that LWN continues to thrive. Please visit this page to join up and keep LWN on the net. 100Gb network adapters are coming, said Jesper Brouer in his talk at the LCA 2015 kernel miniconference (slides [PDF]). Driving su
![Improving Linux networking performance [LWN.net]](https://cdn-ak-scissors.b.st-hatena.com/image/square/7d41435edb1b8a71b59418fe1964bfa70b33fe8c/height=288;version=1;width=512/https%3A%2F%2Flwn.net%2Fimages%2Fconf%2F2015%2Flca%2FJesperBrouer-sm.jpg)
Toward a more efficient slab allocator [LWN.net]
Please consider subscribing to LWNSubscriptions are the lifeblood of LWN.net. If you appreciate this content and would like to see more of it, your subscription will help to ensure that LWN continues to thrive. Please visit this page to join up and keep LWN on the net. Following up on Jesper Brouer's session on networking performance, Christoph Lameter's LCA kernel miniconf session covered ways in
![Toward a more efficient slab allocator [LWN.net]](https://cdn-ak-scissors.b.st-hatena.com/image/square/661dd2e17e9f70c861186def32e38626a18ce122/height=288;version=1;width=512/https%3A%2F%2Flwn.net%2Fimages%2Fconf%2F2015%2Flca%2FChristophLameter-sm.jpg)
Best command line tools for linux performance monitoring | LinTut
Sometimes a system can be slow and many reasons can be the root cause. To identify the process that is consuming memory, disk I/O or processor capacity you need to use tools to see what is happening in an operation system. There are many tools to monitor a GNU/Linux server. In this article, I am providing 7 monitoring tools and i hope it will help you. HtopHtop is an alternative of top command but
Smiling Life : 計算速度向上テクニック：Huge TLB
2011年07月13日17:15 カテゴリLinux気象学 計算速度向上テクニック：Huge TLB 1．はじめに Linux系のOSではスワップ領域の利用や、容易なプログラム実行処理のためにTLB：Translation Look-aside Bufferというシステムが使用されている。TLBはプログラムが使う仮想メモリ空間と物理メモリ空間の橋渡しをするもので、仮想メモリアドレスと物理メモリアドレスの対応表のようなものである。このTLBのおかげでメモリ上に載ったデータでも、HDDスワップ領域に載ったデータでも、プログラムからは同一のアドレス空間で処理できるようになる。 しかし、プログラムの実行時に、参照先のデータがTLBの対応表になかった場合は、別途物理メモリアドレスを探す必要があり、その分余計な計算時間を強いられることになる。これをTLBミスと呼ぶ。より大きなデータを扱う計算ほどTLB
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Much Faster Networking
Broken Performance Tools
tobert/pcstat · GitHub - Page Cache stat: get page cache stats for files on Linux
