Linuxのパケットドロップとは(RX_DROP問題) [現場で必要なネットワーク技術入門]Beginning with kernel 2.6.37, it has been changed the meaning of dropped packet count. Before, dropped packets was most likely due to an error. Now, the rx_dropped counter shows statistics for dropped frames because of:
よくわかるLinux帯域制限 | GREE Engineering
矢口です。 みなさんはLinuxのtcという機能をご存知でしょうか。送信するパケットの帯域制御を行うことができる大変強力な機能で、グリーでもいくつかの用途で使用されています。 具体的な事例の一つはRedisです。Redisではreplicationを新規に開始する際やfailoverが発生しmasterが切り替わった際(特に2.6系)にストアされている全データが転送されます。しかし帯域制限をかける機能がないため、ネットワーク帯域を圧迫してしまう危険性があります。また通常のクライアントとの通信でも大量のクエリにより予想以上の帯域を使用してしまう可能性があります。このような場合にtcを用いることでRedisの使用する帯域をコントロールできます。 このように有用なtcですが残念なことに日本語/英語ともにわかりやすい解説や詳細な情報は多くありません。 私も社内において使われていたtcの設定に問題が
Kubernetesネットワーク 徹底解説
Kubernetesのネットワークの構築要件に対して、世の中には様々なアプローチがあります。 本書ではTCP/IPは知っているけれど、Kubernetesのネットワークの実現方法は知らない人向けに、メジャーな実現アプローチについてできるだけ噛み砕いてステップバイステップで体系的に説明します。
【LANケーブル】CAT5 / CAT6 / CAT7 / CAT8でネットの速度は変わる？【性能比較】 | ちもろぐ
2021年時点、Amazonで購入できるLANケーブルのカテゴリ別スペックをまとめました。 使用できるケーブルの長さや、伝送周波数帯域など。上記以外に細かいスペックがカテゴリ別に決められていますが、話を分かりやすくするため要点のみをスペック表に入れています。 基本的にLANケーブルのカテゴリが高いほど、高性能です。インターネットが速くなる、テレワークにおすすめなどとアピールされる傾向が強い「CAT7」だと最大10 Gbpsの通信速度に対応します。 注意点：蛇口が高性能でも元栓がダメなら意味なしカテゴリが高いほど、対応している最大通信速度が高いため、「CAT7以上のLANケーブルならインターネットが速い」と思われがちです。 残念ながら、どれだけLANケーブル（= 蛇口）を高性能にしても、肝心のインターネット回線（= 元栓）の性能が遅いならまったく意味がありません。 日本のインターネット回線は
Building Protocols with HTTP
Workgroup: HTTP Internet-Draft: draft-ietf-httpbis-bcp56bis Obsoletes: 3205 (if approved) Published: 22 March 2022 Intended Status: Best Current Practice Expires: 23 September 2022 Author: Building Protocols with HTTP Abstract Applications often use HTTP as a substrate to create HTTP-based APIs. This document specifies best practices for writing specifications that use HTTP to define new applicati
Single Packet Authorization with Fwknop
March, 2014, Note: This article proposed the fwknop vision for SPA in 2005, and concept has been greatly extended and enhanced since then. The most updated information about SPA can be found in the fwknop tutorial and the fwknop design goals. Michael Rash Founder | Cipherdyne.org December, 2005 Introduction: One year ago in the December, 2004 issue of USENIX ;login: Magazine, I described a techniq
NTT フレッツ光における通信速度などの現状について、背景や仕組みから正しく理解する 2020
会社でフルリモート体制が築かれるにつれ、各スタッフの自宅の回線などについての相談を受けることが増えてきました。ということで、筆者 sorah の見解として 2020 年の NTT フレッツ光網について、主に通信速度や輻輳についての問題を理解するための背景と仕組みを説明しようと思います。 理解が間違っていたら教えてください。なるべく総務省や NTT の資料からソースを集めてきた上で説明していますが、出典不明の情報も混ざっているかもしれません。できるだけ具体的な出典を文単位で示していますが、複数の資料に渡る複雑なトピックに関しては文末に纏める形になっています。 技術的な意味での細かい解説よりも複雑な事情や背景の説明が中心です。フレッツ光とか NGN とか IPoE とか IPv6 とか v6 プラス・アルファみたいな言葉を聞いて、なんでそんな難しいんだと思った人も多いんじゃないでしょうか。エン
LANケーブルをニッパーで切断し５秒でネットワークへ侵入・盗聴できるか実験してみました
サイバーセキュリティにおいてLANケーブル(有線LAN)からの侵入について考えたことがあるでしょうか？本稿では、LANケーブルをニッパーで切断してネットワークへ侵入・盗聴した実験結果を紹介します。切断してから何秒で侵入・盗聴できたのでしょうか？ 本記事は、ケーブルを切断してネットワークへ侵入・盗聴されるリスクがある事を知っていただく事を目的としています。 ご自身の環境以外では試さないようお願いします。 なぜLANケーブルからの侵入？ 技術部の安井です。長年制御システムを開発してきた経験から制御システムセキュリティ向上に取り組んでいます。制御システムの業界では、近年外部ネットワークを経由しての侵入や内部に持ち込まれたUSBメモリからの侵入が注目されています。一方で、なぜかネットワークを構成する大きな要素であるLANケーブルや光ケーブルからの侵入への注目度は低いようです。制御システムに関わらず
データドリブンなサービスを支えるネットワークの作り方〜 ヤフーのデータセンターネットワーク紹介
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog ヤフーのプロダクションネットワークの設計・構築・運用を担当している津秦です。 ヤフーではオンプレミスで大量に物理サーバーを導入し、社内向けプライベートクラウドや、データ分析基盤などに利用しております。もちろんそのサーバーを接続するためのネットワークも、自分たちで設計・構築・運用を行っております。 今回はデータセンター内ネットワークの中でも、最近取り入れているClosネットワークというものに着目して、ヤフーのデータセンターネットワークをご紹介したいと思います。 なお、大量に物理サーバーを導入する点では、昨年末に同じくインフラを担当する藤見から、サーバーの調達に関する取り組みを紹介しました。合わせて参照いただければ、ヤフーのインフラ部
なるべく切れない回線のつくりかた（物理） - Qiita
◆なるべく切れない回線とはなんですか？ 「落ちないシステムなんてない」 「切れない回線なんてない」 エンジニアの方なら理解してくれると思います。 しかし、理解はしつつも回線断を体験したことがある人はあまりいないのではないでしょうか。 じつはその「あまり」中にあなたが含まれないのは、わりと運が良いだけなのかもしれません。 今日もたくさんの回線が切れています。今もどこかで切れています。月額5000円のベストエフォート回線でも、月額1000万円の10G専有回線でも、切れるときはいつでも切れます。明日もたくさん切れるでしょう。明後日も。来年も。１０年後も。古来電信回線から今後5Gになっても、人類が通信をし続ける限りは切れ続けます。その時に切れるのは、もしかするとあなたに関係があるネットワークかもしれませんし、運良くそんな事態には遭遇しないのかもしれませんし、気づかないうちに復旧しているかもしれませ
DMMをだいぶ前に退職しました｜sasakipochi
昨年7月末に4年半ほど勤めたDMMを退職しました。 その後はずっと長い夏休みを満喫してたんだけど、元同僚にあやしい取材をされて、記事が出るから宣伝のために退職ブログを書け、とか言われたのですよ。 結局取材記事↓の公開には全然間に合わなかったんだけど、記念に書いたのを公開しときます。 - 「大いにやらかし、飽きたら逃げよ」ー元DMM・個性派おっさんエンジニア 佐々木健のITジョブホッパー道 それと、そろそろちゃんと働かなきゃなあ、とも思うので、何をやってたのか等を含めてまとめておくのも大事よね。 そして、以下に書くことはあくまで個人の感想です。 人によっては同じできごとでも捉え方が全然違ったりするはずなので、書いてあることは全部信じることはせずに、取捨選択をしつつ、裏取りしつつ、用法・用量を守ってお使いください。 なぜDMMに入社したのか？DMMに入社する前は、24時間365日システムを監
大規模サービスを支えるネットワークインフラの全貌
わかる！metadata.managedFields / Kubernetes Meetup Tokyo 48
ファーストサーバのZenlogic、ストレージ障害の原因は想定以上の負荷、対策したはずの設定にミスがあったため長期化 － Publickey
ファーストサーバのZenlogic、ストレージ障害の原因は想定以上の負荷、対策したはずの設定にミスがあったため長期化 ファーストサーバが提供しているホスティングサービス「Zenlogic」は、6月下旬から断続的に生じていたストレージ障害に対応するためのメンテナンスが終了の見通しも立たないほど難航し、結局、メンテナンス開始から3日後の夜にようやくサービスが再開されるという事象を起こしました。 参考：ファーストサーバのレンタルサーバ「Zenlogic」、金曜夜からの全面サービス停止が解けず、いまだ停止中。ストレージ障害のためのメンテナンスで（追記あり） － Publickey サービス再開から約1週間が経過した7月17日、同社はストレージ障害に関する原因およびメンテナンスによるサービス停止が長期化してしまった原因、再発防止策についての報告書を明らかにしました。 報告によると、ストレージ障害の直
LinuxサーバでネットワークI/Oで刺さっている接続先を発見する - ゆううきメモ
Linuxサーバの障害対応で社内で伝統的に使われているテクニック。I/Oで完全にブロックしているポイントを特定するノウハウ。 問題対応のため、怪しいプロセスをstraceしてみる read(2)やwrite(2)でブロックしていることを発見する read(2)やwrite(2)、connect(2)の引数にはファイルディスクリプタ番号がみえる プロセスIDとファイルディスクリプタ番号を使って、/proc//fd/ の中身をみると、ソケットI/Oで刺さっている場合はソケット番号を発見できる netstat からソケット番号でgrepして接続先を発見する [y_uuki@hogehoge ~]$ sudo strace -p 10471 Process 10471 attached - interrupt to quit read(58, <unfinished ...> Process 10
超高速なパケットI/Oフレームワーク netmap について - ゆううきブログ
GPUを用いたSSLリバースプロキシの実装について - ゆううきブログ 100Gbpsソフトウェアルータの実現可能性に関する論文 - ゆううきブログ の続きで，最近論文読んだやつのプロジェクトの紹介です． 概要 今の汎用OSは高速なパケットI/Oを考慮してない． 20年前のAPIをそのまま使っている． ネットワークがどんどん高速になっているので，NICとかOSカーネルのパケット処理がボトルネックになってる． (http://news.mynavi.jp/news/2013/04/04/094/index.html) こういうの解決するために既存手法がいろいろある． Linux packet mmap - IwzWiki Linux Kernel Documentation :: networking : packet_mmap.txt DNA (Direct NIC Access) Pac
自律分散監視システムとそれを利用したネットワークグラフ可視化への挑戦 - Hatena Developer Blog
はじめに はてなサマーインターン2017の大規模システムコースの成果報告をします。 今年の大規模システムコースではメンターのid:masayoshiさんとid:y_uukiさんの下、自律分散監視システムとそれを利用したネットワークグラフの可視化に取り組みました。自律分散監視システムでは単純なクラスタリングによる死活状況の確認だけではなくアプリケーションレベルの疎通確認を行えるものを実現しました。またどのようにしてクラスタを形成するかという問題に取り組む内に、サービス間のネットワーク上のつながりを取得できるようになり、その情報でサーバー間の関係性の可視化を行いました。この記事では、それらの詳細を説明します。 はじめに 自律監視システムの実現 中央サーバー型の監視システム 自律分散監視システム アプリケーションレベルの相互監視 どうやってクラスタを形成するか？ 実験 ネットワークグラフの可視化
スプラトゥーン2のオンライン環境は前作より悪化している AN IN-DEPTH LOOK AT ONLINE MULTIPLAYER IN SPLATOON 2 日本語要約 - YONの土鳩ブログ
スプラトゥーン2を買ってから主に鮭、時々ガチマで楽しんでいる私だが、先日Twitterにてこのようなツイートを発見し、詳細を調べる内に引用元の記事を発見した。こちらはスプラトゥーン2のオンライン対戦の仕様と、それを理解するための前提知識を非常に詳しく解説した有用な記事である。この記事では、その記事を要約した日本語訳を記載する。 http://archive.today/Rgbht (魚拓版) こちらの記事はCreative Commons Attribution 4.0 International Licenseに則って書かれており、この翻訳記事もこれに従う。 前述のクリエイティブコモンズライセンスに従い、改変を加えた点を示す。原文の翻訳、要約に際し、改変を加えた点は以下の通りである。 一部を除き、箇条書きによる要約を行っている。また中略や原文から記載箇所を変えた記述(後述)、厳密な和訳よ
Dockerのネットワークを理解するために覚えたことまとめ - Carpe Diem
概要 Dockerのネットワーク周りを勉強していると、 docker0 仮想ブリッジ VXLAN link機能 など色んな要素が出てくるのですが、ちゃんと理解していないとすぐ忘れるため一度しっかり学んでみました。 今回はその時に疑問に思ったことをまとめてみました。 環境 docker 1.11.2 構成 マシン IP 役割 ホスト 192.168.33.10 Dockerホスト docker0 172.17.0.1 仮想ブリッジ nginx1 172.17.0.2 コンテナ１ nginx2 172.17.0.3 コンテナ２ 事前知識 以下の知識があると学ぶ上で非常に助かります。 ブリッジ 第２層でMACアドレスで判別して転送 3 Minutes Networking No.17 ルータ 第３層でIPで判別して転送 3 Minutes Networking No.28 NAT、NAPT、IP
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxネットワークコマンドのカンペが公開
本当は恐ろしい分散システムの話
