Re: CentOS5でもRPS/RFSでNICが捗る話 - まいんだーのはてなブログ
id:studio-m (nekoyaさん)にblogエントリで先を越されたけど自分はちょっと使い所と事情が異なっていそうだったのでそれを書いておきたく!! 0. RPS/RFS の利用 CentOS5 系でのやり方は nekoyaさんのエントリ を見てください。 CentOS6 系でのやり方は kazeburoさんのエントリ を見てください。 自分はkernel 2.6.39で試しましたが問題なく動作しました。 1. RPS/RFSの利用を迫られた背景 nekoya さんは app サーバの所でネットワーク問題が起こっていたようですが、自分の場合 LVS と outbound のトラフィックをさばいているLinuxルータで厳しいことになってきておりました。 この時発生する具体的な症状として LoadAverage が 1 で張り付いて応答が極端に悪くなる というものがあります。 これをど
ログからは見えてこない高負荷サイトのボトルネック : DSAS開発者の部屋
ちょうど１年前に「高負荷サイトのボトルネックを見つけるには」という記事を掲載していますが、この手のトラブルシューティングって結構大変で悩ましいですよね。はじめまして、新入りの@pandax381です。 ログからは見えてこないもの 「サイトの応答が遅い」という問題が発生した場合、その原因はどこにあるでしょうか。 Webアプリケーションの処理に時間が掛かっている DBサーバに投げたクエリーの応答が遅い サーバの処理能力を超えている などなど、いくつもの可能性があります。通常、上に挙げているような問題は、アプリケーションやサーバのログを調査することで、原因を突き止めることができます。 一方で、こういったログの調査だけでは、その原因にたどり着くことができなかったり、相当な苦労が伴うケースもあります。 あるサイトのある日の出来事 つい先日のことですが、KLabの運営している某ソーシャルゲームにて、サ
インターネット10分講座：大規模NAT（Large Scale NAT:LSN） あるいはキャリアグレードNAT（CGN） - JPNIC
ニュースレターNo.41/2009年3月発行 インターネット10分講座：大規模NAT(Large Scale NAT:LSN)あるいはキャリアグレードNAT(CGN) 今回の10分講座は、IPv4アドレスの在庫枯渇の時期が迫るとともに注目を集めている大規模NATあるいはキャリアグレードNATと呼ばれる技術について解説します。 IPv4アドレス在庫枯渇とスムースなIPv6移行に向けて 最近、あちこちで言われていることではありますが、IPv4アドレスの新規割り当てが、あとどんなに遅くても数年以内には、非常に困難になるであろうという予測は、やはり残念ながらと言うべきでしょうけれども、だんだんと確定的になってきています。 もちろん、この問題への根源的な対策は、インターネット全体をIPv6へと移行させることであることはまったく論を待ちませんが、その一方で、既に実社会に広く深く浸透している既存の設備や
［Q7］ラージ・スケールNATとは何ですか。
IPアドレス枯渇対策技術として，「キャリア・グレードNAT」（CGN）の存在が知られるようになってきました。さらに最近は，同様の話題の中で「ラージ・スケールNAT」（LSN）という言葉を耳にしたことがあるかもしれません。LSNとはどんなしくみのことで，CGNとはどう違うのでしょうか？ 実は，LSNはCGNと同じしくみを指しています。いずれも，IPv4アドレス枯渇の対策としてプロバイダなどが実施する大規模なNATのことです。両者は，「CGNの呼称がLSNに変わった」という関係にあります。 現在，IETF（Internet Engineering Task Force）に，日本の複数の通信事業者で構成するグループがLSNに関する提案を三つ出しています。（1）「Common Functions of Large Scale NAT（LSN）」，（2）「NAT444 with ISP Shared
ファイルをTCPの30倍で転送――独自プロトコルによる高速通信「クラウド コネクト」
TCPと比較して約20～30倍の速度でグローバル間ファイル転送を行えるという高速通信サービス「クラウド コネクト」をデータホテルが開始。「Winny」開発者の金子勇氏が設立したSkeedが共同開発した。 NHN Japan子会社のデータホテルとSkeedは6月12日、グローバル間のデータ転送を高速化させるクラウドサービス「データホテル クラウド コネクト」を発表した。Skeedが独自開発した通信プロトコル「Skeed Silver Bullet Protocol」（SSBP）の採用で、標準プロトコルのTCPと比較して約20～30倍の速度でグローバル間ファイル転送を行えるという。同日からβ提供を開始し、今夏に正式サービスとしてリリースする予定。 データホテル クラウド コネクトは、米国、ブラジル、アイルランド、韓国、オーストラリア、日本の6カ国10カ所に設置されたデータホテルの通信拠点を仮想
Linuxのbonding(802.3ad)で発生したトラフィックの偏りをなおした話 - 元RX-7乗りの適当な日々
はじめに とある環境の話。internalのLinuxサーバでbonding(ボンディング)を組んでいました。modeは4。802.3ad(LACP)準拠のリンクアグリケーションなモードです。 ちなみに、bondingとは・・・ ちなみに、"bonding"とは、ネットワークインターフェースを冗長化(または負荷分散)する方法で、複数のNICを束ねて1本に見せることができます。チーミング(teaming)と呼ばれたりもしますね。 で、Linuxではbondingにもいくつかモードがあって、複数のポリシーの中から選択することができます。 balance-rr 又は 0 - 耐障害性とロードバランシングのためラウンドロビンポリシーを設定します。利用可能な第 1 のインターフェースからそれぞれのボンディングされたスレーブインターフェースで送受信が順次行われます。 active-backup 又は
kernel: TCP: time wait bucket table overflow の解消とTIME_WAITを減らすチューニング - 気ままにインフラエンジニア
整理がてら。 httpdが動いているあるホスト上で、 /var/log/messages に以下のようなメッセージが出ていた。 kernel: TCP: time wait bucket table overflow kernel: printk: 50078 messages suppressed. "netstat -tna |grep TIME_WAIT"すると、10万以上の数でTIME_WAITが出ている。これを解消するまでの流れ。 そもそもこの値は、カーネルパラメータの net.ipv4.tcp_max_tw_buckets で設定されている。デフォルトは16384。 （↑の通り、エラーが出た環境では既にかなり大きな値が設定されていたのだが。） /proc/sys/net/ipv4/tcp_max_tw_buckets システムが同時に保持する time-wait ソケットの最大
いっぱい接続したいの - (ひ)メモ
とあるホストに、TCP接続を張っては切るという処理をぐるんぐるん繰り返すベンチマーク的なプログラムを書いて動かしました。 最初のうちは期待した通りの動作をしてるんですが、途中から対向のホストにTCP接続できなくなってエラー出まくり。 $ netstat -tna | grep TIME_WAIT | wc -l 28230これが原因ぽい。 KERNEL_SOURCE/Documentation/networking/ip-sysctl.txt によれば、 ip_local_port_range - 2 INTEGERS Defines the local port range that is used by TCP and UDP to choose the local port. The first number is the first, the second the last loc
NIC冗長化（bonding） — server-memo.net
bondingとは？ 簡単に書くと複数のNICを一つにまとめて、負荷分散や冗長化を行うというものです。 kernelのモジュールである「bondモジュール」をつかうので、bondingといったように呼ばれているらしいです。 注意点 BondingでリピータHUB（いわゆる馬鹿ハブ・ダムハブ）を使用するとコリジョンが多発する為、スイッチングHUBの使用が必要です。 ※ リピーターHUBは受信データを受信中のポートを除く全てのポートから一斉に送信します。 なので、リピーターHUBをつかってbondingをしている端末でデータ送信を行うと、 bondingされているNICデバイス全てに同じデータが送信され（bondingされているNICデバイスはMACアドレスが全部同じになるため）、 問題が発生しちゃうということらしいです。 また、bondingを行うためにはカーネルレベルで対
Proxyを自動設定する
cles::blog 平常心是道 blogs: cles::blog NP_cles() « 康竜 赤坂店 :: Amazonの欲しいものリスト問題 » 2008/03/11 Proxyを自動設定する networking 284 10へぇ 家、会社、大学、実家、出先といろいろな場所でPCを使うのですが、場所によってはProxyを指定しないといけない場合があります。普段は Think Vantage Access Connections が自動的に切り替えてくれるわけですが、ブラウザが起動したままだとうまく切り替わってくれないので困っていました。 それでFirefoxにはSwitchProxyをインストールして、メニューから選択するだけでProxyの切り替えができるようにしていたんですが、やはり面倒なのでこの作業が完全に自動化できないか調べてみたところ、プロキシ自動設定ファイルを使えばア
どさにっき
2008年4月21日(月) ■ 無題 _ 今朝の電車でおっさんが読んでたスポーツ新聞からちょっと見えてた見出し。頭のおかしい人が新幹線で全裸になってタイーホ。春だなぁ。 _ 出社してからニュースサイトを巡回して、それが ファーストサーバの社長だったと知る。あぁ。 _ ち、ちがうよっ、春だから頭のおかしい人が湧いてきたんじゃないよっ。だってレンタルサーバ会社の社長だよ？ 頭がおかしいなんてことはないよ。最近のデータセンターは電力問題とか熱問題とかいろいろ大変だからね、きっと陽気がよくなってあったかくなったから熱暴走を起こして、その冷却のために大事なところを放熱してただけなんだよっ。 _ てか、ファーストサーバっていつのまにか yahoo の系列になってたのか。昔はクボタ(もちろん農業機械のクボタのことだ)の子会社だったよね、たしか。 2008年4月28日(月) ■ 無題 _ メール屋を廃業し
『JavaネットワークアプリケーションフレームワークNettyの紹介』
こんにちは、新規開発局のイニシャルP.です。 今回はJBoss OpenSource Projectの一つであるNetty Projectを紹介します。 Nettyは高性能・高スケーラビリティなネットワークアプリケーションを快速開発するために設計されたNIOクライアント・サーバフレームワークです。 Nettyを使うと複雑なNIO Selector APIを知らなくても簡単に非同期なイベント駆動型のネットワークアプリケーションの作成が可能になります。 簡単とはいえ、APIや使い方の説明になると楽しくないので、 ここでは実際にNettyを利用してMemcachedサーバを作ってみることにします。 動作環境について ・JDK1.5以上 ・Nettyの最新バージョン(現時点で3.2.1-Final) Memcachedサーバの実装について ・Binary Protocolのみ ・GetとSetのみ
Iperfの使い方 - TECHNERD::INIT
ネットワークの帯域を計測する場合、非常に便利なツールです。 UNIX系ではnetperfが有名かと思いますが、UDPの計測に関してはIperfの方が使いやすいと思います。 WindowsやLinuxなど各種OSで使用できます。 ダウンロード NLANR/DAST : Iperf - The TCP/UDP Bandwidth Measurement Tool http://sourceforge.net/projects/iperf 使い方 下記に、コマンドの使い方を記しておきます。 ユニキャストモード TCPの場合 サーバー $ iperf -s クライアント $ iperf -c <受信側ホスト名> または <受信側IPアドレス> 例1)TCP通信での最大レートを測定する。Netperfでの測定とほぼ同様。 $ iperf -c 192.168.1.100 例2)100Mbyteのデー
100人繋いでも大丈夫！3000円で出来るサクサク社内ネットワーク構築法｜技術ブログ｜北海道札幌市・宮城県仙台市のVR・ゲーム・システム開発 インフィニットループ
100人繋いでも大丈夫！3000円で出来るサクサク社内ネットワーク構築法 こんにちは。弊社ネットワーク担当のshiromaです。 以前当ブログでも取り上げました通り、弊社は六月に新社屋へと引っ越しを行い、社屋の拡張と併せて人員の拡充を行ってきました。しかし、その人員の拡充に伴って内外の通信の量は肥大し続け、20人を過ぎた頃からNTT貸出のルータでは遅延がひどくなり、40人近くなった現在、社内基幹ルータの入れ換えが切実に必要という状況となりました。 かつてRTX1000を利用していた経験を活かせると考え、数万円の費用を払ってRTX1100を購入し、配備してみたのですが、一向に遅延は改善されません。更に調査を進めていくと、この遅延は弊社で標準利用していたSkypeが原因だという事が判明しました！ 大人数でのSkype利用の問題 Skypeは非常に便利なコミュニケーションソフトであり、弊社でも内
CLOSE_WAITの状態が続くとどうなるか - こせきの技術日記
相手のアプリケーションがcloseして、こちらのアプリケーションがcloseせずにいる場合(ハーフクローズの状態、上の図参照)、一定時間後に相手側のFIN_WAIT2と、こちらのCLOSE_WAITが消えた。この現象は、2つのタイマーが関係しているらしい。 http://www.linux.or.jp/JM/html/LDP_man-pages/man7/tcp.7.html FIN_WAIT2は、 tcp_fin_timeout でタイムアウトする。デフォルトは60秒。 CLOSE_WAITは tcp_keepalive_time 秒後に(デフォルトは2時間)、接続が有効かどうかを確認する(keep-aliveプローブを送信)。 相手側がFIN_WAIT2で待っている場合は、ACKが返ってきて接続が維持される。 相手側が tcp_fin_timeout によってクローズ済みの場合、リセッ
Windowsネットワーク 第16...＠IT：連載 基礎から学ぶ
第16回 信頼性のある通信を実現するTCPプロトコル（3）：基礎から学ぶWindowsネットワーク（3/4 ページ） TCP技術を習得するうえで非常に重要な項目として、「TCPの状態遷移図」というものがある。これはTCPプロトコルの規格書であるRFC793（STD0007）に掲載されている、TCPプロトコルの内部ステートを表現した図である。すでに解説したように、TCPでは接続ごとに、それぞれシーケンス番号やACK番号、オープン／クローズなどの処理状態といった「ステート（状態）」を持っている。このようなプロトコルを「ステートフルな（stateful、状態を持つ）」プロトコルという。TCP接続のオープンやクローズ、確立などに伴う、状態の変化を表現した図を「状態遷移図」という。 以下は、RFC793に記載されているTCPの状態遷移図を簡略化したものである（完全な状態遷移図についてはRFC793を
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What Is My IP Address? - ifconfig.me
オープンソースで開発されている仮想無線LANルーターソフト「Virtual Router」NOT SUPPORTED
TCPセッションモニタ「miruo」が便利だった
http://www.rhythm.cx/~steve/devel/tcptrack/
