SOCKSプロキシとHTTPプロキシの違いについて勉強してみた | DevelopersIO
はじめに サーバーレス開発部@大阪の岩田です。 先日接続元IPアドレスをクラスメソッドのGIPに制限した検証環境を利用してAPIのテストを行なっていたところ、リモートワーク中のメンバーが検証環境に接続できないという状況が発生しました。 下記の記事で紹介されているように、クラスメソッドではSOCKSサーバーが構築されているので、VPN経由で社内NWに接続し、SOCKSサーバーをプロキシとして利用すれば本来リモート環境からでも検証環境が利用できるはずです。 VPN利用者のためにdelegateでSOCKSサーバーを立ててみました 最初はcurlコマンドのオプションに--proxyを付けてプロキシサーバーを指定するようお願いしたのですが、--proxy http://proxy.example.com:xxxxのような指定を行なっていたようで、問題が解決しませんでした。 結局--proxy so
フレッツ光回線でscpが遅かった話 - Qiita
この記事は、Supershipグループ Advent Calendar 2021の7日目の記事になります。 先日、sshを使用したファイル転送が回線速度と比べて異常に遅いという現象に遭遇したので、その際に行った調査を再現しつつ原因や対策について書いてみたいと思います。 要約 OpenSSHはデフォルトでinteractiveなセッションに af21 、non-interactiveなセッションに cs1 をDSCP値としてIPヘッダに設定する フレッツ網はIPヘッダのDSCP値を帯域優先サービスで使用しており、契約に応じて指定された優先度以外が設定されたパケットの転送は保証されない そのため、OpenSSHをデフォルト設定のままフレッツ網で使うと通信ができなかったり、速度低下などの悪影響を受ける可能性がある OpenSSHがDSCP値を設定しないようにするためには、IPQoS noneを設
【Linux】ip routeで表示されるdev,via,src,protoの意味と見方 - (O+P)ut
はじめに ip routeコマンドでよく見るタイトルの文言の意味とその見方を簡単に解説します。 尚、詳細が知りたければman ip routeでも確認可能です。 環境情報 Red Hat Enter Prise Linux Server 7.6 IP-ROUTE(8) dev/via/src/protoの意味 devはパケットを流すデバイス名を指定し dev NAME only list routes going via this device.viaはパケットを流すIPアドレスを指定し via [ FAMILY ] ADDRESS the address of the nexthop router, in the address family FAMILY. srcはパケットの送信元IPアドレスを指定し src ADDRESS the source address to prefer w
ソケットプログラミングのTips
概要 ソケットプログラミングに関するTipsをメモレベルで記載する。 切断検知と経路切断 TCPコネクションの切断検出 対向がclose()、shuttdown()、プログラム終了等をしたときの切断検出について。 OSをシャットダウンさせた場合も通常はアプリケーションの終了処理が走り、正常な切断が動く。 受信側の切断検出は、recv()がlength==0で返ってきたとき、または、errno==ECONNRESETとなる。（ECONNRESETはRSTによって切断された場合） 送信側の切断検出は、切断された後2回目のsend()がエラーとなる。 ※相手がclose()→こちらがsend()→相手にパケットが飛ぶが待ち受けプログラムがいないためRST応答が来る→もう1度send()→エラー ※send()自体はカーネルの送信バッファにデータコピーするだけなので、TCPレベルの応答（送信完了）
Debian NIC 2枚挿しのルーティングについて考えてみた [Green-pen miyagi]
eth0から優先的にpingを出していて、*1.pingキャプチャー インターフェースに優先順位があるのがわかる。 このため、優先順位の低いインターフェイスから発信するには、 明示的に物理インターフェイスを指定をしなければならない。 ▼ルーティングテーブルの確認 $ ip route show default via 192.168.1.1 dev eth0 192.168.1.0/24 dev eth0 proto kernel scope link src 192.168.1.254 192.168.1.0/24 dev eth1 proto kernel scope link src 192.168.1.101 ▼一時的なルーティングの設定 [ServerAで設定] $ sudo ip route add 192.168.1.51 dev eth1 ---PC51へのルートはeth1
TCP/IPの通信の切断検知 - 揮発性のメモ２
プログラムが終了するときはOSがFINとか送ってくれるけど、途中でLANケーブル抜けたときとかはどうにもならないので 自分で切断を検知する必要がある。キープアライブを使って切断を検知する。 int option = 1; setsockopt( sd, SOL_SOCKET, SO_KEEPALIVE, (void*)&option, sizeof(option) ); デフォルトでは切断検知まで 2時間11分15秒。 2時間とか待ってると日が暮れるので、これをせめて3分とかにする int option = 1; setsockopt( sd, SOL_SOCKET, SO_KEEPALIVE, (void*)&option, sizeof(option) ); option = 60; setsockopt( sd, IPPROTO_TCP, TCP_KEEPIDLE, (void*)&
ルータの仕組みを学ぼう
ルータはネットワーク構築に欠かせない機器だ。いま話題のブロードバンドルータで、ルータとIPネットワークの基本的な仕組みを理解しよう。
インフラエンジニアに贈るAmazon VPC入門 #3 インターネット接続(前編) | DevelopersIO
宛先がサブネットではなく、VPC全体のアドレスになっているのがポイントです。"Local"ってなんやねん！と突っ込みたくなりますが、これに先ほどの"各サブネットの仮想ルーター間でよろしくルーティングしてくれぃ！"という意味が込められています。 ルーティングの追加 さて、既定のルーティングを紹介しましたので、今度はルーティングの追加を見て行きます。仮想ルーターのルーティングテーブルにルーティングエントリーを追加するのは、外部ネットワークにアクセスするためです。外部ネットワークとして最初に思い浮かべるのは、そう、インターネット接続です。 インターネット接続ってそもそも要るの? VPCを利用する目的は、ケースにより様々ですが、 「従来のオンプレミス環境の延長でVPCを使用するので、インターネットとの通信は必要ない。むしろその方がセキュアじゃない?」 なーんて、妄想を抱きがちです。しかし、実際は多
EthernetでのID「MACアドレス」を理解する (1/4)
MACアドレスとは何か EthernetのMACアドレス（Media Access Control Address）とは、物理的に接続されたネットワーク上のネットワークインターフェイスを識別するためのアドレスである。ネットワークインターフェイスカード（NIC）の製造時にMACアドレスがハードウェアに組み込まれるため、ハードウェアアドレスとも、物理アドレスとも呼ばれている。 Windowsのコマンドプロンプトから“ipconfig /all”とコマンドを入力すると、Physical AddressとしてMACアドレスが表示される。 MACアドレスは48ビット長（6バイト）のアドレス情報である。表記には16進数が用いられ、1バイト（16進数で2桁）単位に“-（ダッシュ）”や“:（コロン）”で区切って表わすことが多い。 MACアドレスの最初の3バイトは「OUI（Organizationally
マルチホストでのDocker Container間通信 第1回: Dockerネットワークの基礎 - Uzabase for Engineers
こんにちは。SPEEDA開発チームの鈴木です。 調べてみるとなかなか興味深い技術であるマルチホストでのDocker Conainer間通信。 これをどのように実現しているのか説明したいと思います。 が、その前に今回の投稿では、まず基礎知識的な話としてDockerのネットワークについて順を追って説明をします。 Dockerのネットワーク docker0 docker0に接続されているネットワーク・インタフェース veth ネットワーク名前空間 Docker Containerのネットワーク名前空間を参照する ルーティング シリーズ Dockerのネットワーク docker0 Dockerをインストールしたあと、ifconfigやip addr showするとdocker0なるものが表示されるようになるので、気になっていた人もいるかと思います。 これは一体何者なのでしょうか。 [kenji@a
ネットワークの疎通を確認する方法 - Carpe Diem
概要 インスタンスのヘルスチェックに失敗したり、リクエストが届かなかったりするケースの調査のためにネットワークの疎通を確認する機会は多々あります。 今回はその中でよく使うコマンドをまとめてみました。 環境 Ubutnu 16.04 コマンド ping pingはICMPのエコー要求/応答機能を使った診断コマンドです。 疎通確認 $ ping google.com PING google.com (216.58.200.206): 56 data bytes 64 bytes from 216.58.200.206: icmp_seq=0 ttl=54 time=2.329 ms 64 bytes from 216.58.200.206: icmp_seq=1 ttl=54 time=2.744 ms ちなみにICMPはL3のプロトコルなのでポートは関係ありません。 確認できないケース pi
負荷が低いのにアクセスを捌けきれない時の対応 - Carpe Diem
概要 MongoDBでCPU使用率やロードアベレージが高くないのに処理が詰まっている現象が起きました。 その時間にbatchが動いていてアクセスが急に増えることが原因と言うのは分かっているのですが、負荷的には十分余裕があり不思議な状態でした。 そこでdstatで見るポイント - Carpe Diemでも述べたように、負荷の状態から判断する基準があります。 ロードアベレージを確認する １が高ければCPU、ディスクI/O、メモリにボトルネックがある １が低ければTCPコネクションにボトルネックがある 今回の現象から判断するに、TCPコネクションに原因がありそうです。 原因調査 Too many open filesは出ているか ファイルディスクリプタが足りない場合はコネクション数が足りずに処理が詰まってしまいます。 そしてその場合Too many open filesというエラーが出ます。 し
C言語で学ぶソケットAPI入門 第1回 サーバ編 - Qiita
TCP/IPについてはWeb技術者が、意識するしないにかかわらず利用している、 インターネットに必要不可欠な通信プロトコルの一つです。 また近年はIoTなどの普及もあり、従来のWeb技術以外の分野にも必要不可欠な知識になってきています。 そこで、ネットワークAPIのデファクトスタンダードになっている、 BSDソケットインタフェースをベースとして改めてネットワークの勉強をしていこうと思ってます。 ネットワークの仕組み、特にTCP/IPについて書かれた本やドキュメントはたくさんありますが、私はソケットAPIを使ったC言語のソースコードを読んでみるまで、どんな説明をきいてもイメージがわかず、あまり仕組みが理解できなかったので基本的にC言語のソースコードの流れにそいながら、使われているデータや処理に基づいて動作を回を分けて学んでいくことにします。 もちろん、完璧だとは思っておりませんので、間違って
ioドメイン障害を理解するため、DNSの仕組みについて勉強した - $shibayu36->blog;
先日、ioドメインの障害があったのだけど、自分がDNSの仕組みをよく分かっていないせいで、いまいちどういうことが起こっていたのか把握できなかった。そこで、DNSの仕組みについて軽く勉強したので、そのメモを残しておく。内容は間違っているかもしれないので、その場合は指摘してください。 DNSについて学んだこと Software Design 2015/4のDNSの教科書が非常に勉強になった。また、 インターネット10分講座：DNSキャッシュ - JPNICも参考になる。 権威サーバとフルリゾルバ まず、DNSサーバには権威サーバとフルリゾルバの二つの種類が存在する。 権威サーバ ドメインの情報を管理し、自分の管理しているゾーンの情報を提供するだけのサーバ 問い合わせたドメインが自分のゾーンの管理下ではない場合、別の権威サーバへ委任するという情報を返す コンテンツサーバとも言われる? 例) co
Dockerのネットワーク管理とnetnsの関係 - めもめも
RHEL7RC+EPEL版Dockerの前提で解説します。RHEL7RCを最小構成で入れて、次の手順でDockerを導入します。 # yum -y install bridge-utils net-tools # yum -y install http://download.fedoraproject.org/pub/epel/beta/7/x86_64/epel-release-7-0.1.noarch.rpm # yum -y install docker-io # systemctl enable docker.serviceDockerが設定するiptablesの内容を見るために（見やすくするために）、firewalldを停止した上でdockerサービスを起動します。 # systemctl stop firewalld.service # systemctl mask firew
Linuxでロードバランサやキャッシュサーバをマルチコアスケールさせるためのカーネルチューニング - ゆううきブログ
本記事の公開後の2016年7月にはてなにおけるチューニング事例を紹介した。 はてなにおけるLinuxネットワークスタックパフォーマンス改善 / Linux network performance improvement at hatena - Speaker Deck HAProxy や nginx などのソフトウェアロードバランサやリバースプロキシ、memcached などの KVS のような高パケットレートになりやすいネットワークアプリケーションにおいて、単一の CPU コアに負荷が偏り、マルチコアスケールしないことがあります。 今回は、このようなネットワークアプリケーションにおいて CPU 負荷がマルチコアスケールしない理由と、マルチコアスケールさせるための Linux カーネルのネットワークスタックのチューニング手法として RFS (Receive Flow Steering) を
11nの10倍以上！ 次世代無線LANの802.11acとは？
11nの10倍以上！ 次世代無線LANの802.11acとは？：解剖！ ギガビット無線LAN最新動向（1）（1/2 ページ） スマートフォンの急速な普及に応えようと、モバイルネットワークでもいくつか新しい技術革新が起こっています。その1つが、ギガビットイーサネットを視野に入れた新しい無線LAN規格、802.11acです。その仕様はどんなものなのか、解説します。 モバイルネットワークの現状～なぜ「Wi-Fi」？ ここ数年のICT市場の注目度ランキングトップスリーを挙げるとすれば、間違いなく「スマートフォン」や「タブレット」が入るでしょう。iPhoneが発売された2007年当時に、ここまでのスマートフォンの広がり、話題性を予測していた人は少なかったかと思います。 また、ここ最近の出来事で印象的だったのは、新年の携帯電話事業者が行う通信規制（いわゆる「あけおめ」規制）が「データ通信」に限定されて
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【特集】 公衆無線LANではVPNを使ったほうが安全？知っておきたいVPNの仕組み
【特集】 高いルーターと安いルーターの速度差はどれくらい？8千円～4万円台の3機種を比較
CloudFrontをかますとキャッシュなしのAPIコールでも速くなるようだ : sonots:blog
