パケット処理のマルチコアスケールについて - Qiita
概要 この資料を見て、パケット処理の割り込みとマルチコアによるスケールが気になったので自分でも調べてみたことをまとめる. はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena まず上記資料を３行でまとめると 受信パケットはハード割り込みとソフト割り込みを使ってCPUに処理される 受信パケットの割り込みが特定のCPUにしかいかずマルチコアスケールしない問題に遭遇 RPS (Receive Packet Steering)を使用してマルチコアで受信パケットを処理しロードバランサーのネットワーク処理の性能を向上させた 資料を見ていて以下の点が気になったので、ここら辺をスッキリさせるためにいくつかの資料を読み、まとめておく 割り込みが特定のCPUにしかいかなかった理由 RPS(Receiv
Intent-based retargeting | Datacratic
Datacratic's intent-based retargeting technology is now part of iperceptions Get expert guidance in measuring and optimizing the effectiveness of your marketing campaigns with iperceptions ©2017 Datacratic. All Rights Reserved. All other trademarks, logos and brand names on this website are the properties of their respective owners.
【翻訳】Aerospike on Amazon EC2 で 100万TPS をたった 1.68 ドル/時 で実現する方法 | FAworksブログ
原文: http://highscalability.com/blog/2014/8/18/1-aerospike-server-x-1-amazon-ec2-instance-1-million-tps-for.html (2014-9-25) Amazon EC2のようなクラウドインフラストラクチャサービスは、特筆すべき成功を収めてその価値を証明しています。必要な時に時間単位の課金でスケールアップできるその容易さは、開発者の創造性を解き放ちました。しかし、仮想化環境は高性能なアプリケーションとデータベースを実行するための場所としては広く考えられていません。 クラウド·プロバイダーは、その製品が長い道のりを経たとはいえ、彼らのパフォーマンスを再び審査する必要が出てきました。ベアメタルサーバー上の Aerospike で100万 TPS を達成した後、私たちは、クラウドのパフォーマンスを調
Linux: scaling softirq among many CPU cores
Some years ago I have tested network interrupts affinity - you set ~0 as a CPU mask to balance network interrupts among all your CPU cores and you get all softirq instances running in parallel. Such interrupts distribution among CPU cores sometimes is a bad idea due to CPU caches computational burden and probable packets reordering. In most cases it is not recommended for servers performing some T
Network Interrupts handling and monitor
Problem: We had a test case that shows network packets being dropped. The packets are dropped on TCP layer, not IP layer. And the behavior changes if we reboot the box. We have a westmere 2-socket 24-core(with hyper-thread enabled). Conclusion: When the network interrupts handling happens to land on the cores that handles softirq, that core(s) are stressed. It can not handle the work and drop
Linux カーネルと FreeBSD カーネルの割り込み処理
わけあって、 Linux カーネルと FreeBSD カーネルの双方で仕事をした結果、 二つのカーネルで割り込み処理の実装方法が大きく異なっていることに気づきました。 ここでは、それぞれの割り込み処理の仕組みについて、 調べたことを書いてみたいと思います。 割り込みとは、主に入出力ハードウェアによって CPU に送られる処理要求のことです。 一般に、 CPU は入出力ハードウェアよりもずっと高速に動作するので、 入出力処理を行う際に、ハードウェアの動作を待つよりも、 CPU では別の処理を行なっておき、 必要になった時にハードウェア側からの通知を受けて対応する処理を行う方が、 CPU を有効に活用できます。この入出力ハードウェア側からの通知が、割り込みと呼ばれます。 割り込みは、 CPU で動作するカーネルによって処理されることとなります。 ここで、一つの割り込み処理に時間がかかると、他の
High Performance I/O with NUMA Systems in Linux
Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved. Fusion-io Confidential—Copyright © 2013 Fusion-io, Inc. All rights reserved. High Performance I/O with NUMA Systems in Linux Lance Shelton How prevalent is NUMA? ▸ All major vendors • HP, Dell, IBM, Cisco, SuperMicro, Hitachi, etc. ▸ As small as 1U ▸ 2, 4, and 8 socket systems ▸ 2 to 10 cores per socket ▸ Number of cores
非同期処理の基礎
MPAなWebフレームワーク、Astroの紹介 (その1) 2024/05/17の勉強会で発表されたものです。
Linuxのしくみを学ぶ - プロセス管理とスケジューリング
「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」公開ページ こちらのページはSoftware Design誌 2009年12月号の記事「Linuxのしくみを学ぶ - プロセス管理とスケジューリング」の公開ページです。 「ハイパーバイザの作り方」も公開中ですので、こちらも是非ご覧ください。 公開中の記事 HTML PDF ePub mobi Kindle 原稿データ 全ての原稿データはgithub上で公開されています。 Pull RequestやIssuesを通じて文章の誤り訂正や解説の追記、各フォーマットの表示の改善などのコントリビューションを受け付けています。 改善された記事は随時このページにアップロードしていきます。 記事に関するご質問 記事を読んで何かわからなかった点があったり、疑問に思ったことがあれば以下の連絡先に問い合わせてください。 Twitter: @syuu
EC2でSR-IOVを使うときのNICドライバパラメータ検証 - ゆううきブログ
SR-IOV enabledな c3/i2 インスタンス使うときのNICドライバのパラメータをどうしたらいいかわからなかったので軽く検証してみた。 NICのドライバパラメータ（InterruptThrottleRate）をチューニングすることで、例えばHAProxyを使ってるような高pps環境でCPUの割り込み負荷を削減できる。 ELBの代わりにHAProxy使ってる噂は結構聞いたりする。 - クックパッドでのVPC移行について - Cookpad's deployment and auto scaling // Speaker Deck みんなELBからhaproxyに移行してる #jawsdays— kenjiskywalker (@kenjiskywalker) March 15, 2014 前提 c3インスタンス 2013年の11月くらいにでた新しいインスタンスタイプ SSD Xe
サーバ屋日記: 10GBaseTイーサネットに関して調べ物
2012年5月10日木曜日 10GBaseTイーサネットに関して調べ物 10GbeのインターフェイスにはCX4、SFP+ファイバー、SFP+ダイレクトアタッチカッパー(DAC)、10GBaseTなどがある。 CX4 古い技術で、ケーブルの太さやコネクタの大きさなどから、高集積化には向かない。ケーブル長15mまで。 SFP+ファイバー 10GBase-SR 高価である 低消費電力、ケーブル長300mまで。 サーバにネットワークカードの増設が必用。 SFP+DAC 比較的安価である。ケーブル長は7mまで。 サーバにネットワークカードの増設が必用。 10GBaseT 安価である。 従来、消費電力が大きく、高コストであると思われていたが、最近のプロセステクノロジーによりそうでもなくなった。NICの消費電力が初期の25W/portから6W/portに低下した。 1000BaseTイーサネット
Context Switch definition
A context switch (also sometimes referred to as a process switch or a task switch) is the switching of the CPU (central processing unit) from one process or thread to another. A process (also sometimes referred to as a task) is an executing (i.e., running) instance of a program. In Linux, threads are lightweight processes that can run in parallel and share an address space (i.e., a range of memory
DMM inside
日本アニメ初の快挙！海外アニメ賞を受賞した『スキップとローファー』海外ライセンス部長&プロデューサーが語る、奮闘の舞台裏
UNIX 6th code reading - 割り込み・トラップルーチン - やる気のないブログ(A boring diary)
初めての方はこちらを参照 http://d.hatena.ne.jp/takahirox/20101024/1287923014 はじめに 今回は10章です。 トラップと割り込みルーチンを追っていきます。各トラップ・割り込みの個別処理は次章以降で扱われます。本章では個別処理に入る前・入った後の共通処理部分を見ていきます。 何故、割り込み・トラップという機構があるのか 割り込みの説明 割り込み・トラップのロジックを追う前に、その機構が存在する理由を自分なりに考えてみました。 割り込み機構は絵にするとこんな感じです。 各デバイスはCPUに対し要求をするときにREADY/DONE bitのフラグ(CPUのstate bit7?)をセットします。 また、CPUは1loop毎にDONE/READY bitを調べます。セットされていたら割り込み処理を、セットされていなければ通常処理を行います。 追記
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Support - Question: Configuring SMP Affinity in Linux
Kvm performance optimization for ubuntu
Interrupt Affinityについて
Linux packet-forwarding
lanceshelton/irqstat · GitHub - A better way to watch /proc/interrupts, designed for NUMA systems with many processors.
はてなブログ | 無料ブログを作成しよう
