『最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法』

最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法 | サイバーエージェント 公式エンジニアブログ こんにちは. エンジニアの平野です. ふだんはプライベートクラウドのサーバハードウェアとストレージを担当しています. サーバのリプレイスや増設, 仮想サーバの移植などでテラバイトクラスのデータを2つのサーバ間で転送することがよくあります. こんなとき, 転送終了を待ちながら「あと何時間掛かるのかなー」とか「もっと速く転送終わらないかなー」なんて考えたことはありませんか? 今回は下記のようなシーンで活躍する, 特盛りデータを30倍高速に転送する方法をご紹介します. - サーバの交換でデータを移設したい - MySQLスレーブサーバの増設したい - 仮想サーバを別のホストに移植したい - 大量のファイルを別のサーバに移設したい - 大容量データをバックアップしたい ■ 環境を用

[moccos_info]

プロトコルではなく圧縮の話

[daikikohara]

最後に圧縮レベルにちょっと触れられてますが、gzip/pigzもデフォルトは-6だけど-1とかにしたら多分もっと速くなりそう。tarはaliasで-I pigzをデフォルトにしておくと普段使いも楽ですね。あとscpは、、ってもう入んないやｗ

[tofy]

“netcat”

[kiyotune]

今の環境で、圧縮なし:11.7MB/s(93.6Mbps) / pigz圧縮:25.5Mbps(204.0Mbps)!! どっちにしても遅すぎぃ!!

[naga_sawa]

CPUに余裕があるなら圧縮かけつつncで流すのが早いと

[sucrose]

14%速度が増えたのを「114%速くなりました」と書くのはわかりづらい気がする

[kwms]

勉強になる

[yoppymodel]

アメブロのドメインで初めて役に立つ情報を見た。

[donotthinkfeel]

[[comparison][performance tuning]

[dowhile]

scpの圧縮オプションじゃだめなんだろうか

[takaesu]

『最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法』

[psfactory]

最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法｜サイバーエージェント 公式エンジニアブログ

[clavier]

最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法｜サイバーエージェント 公式エンジニアブログ

[mary_pp]

夜中にデータ転送して…が使えない時の手段。よいかも。

[yancy1969]

最速を究める! 2つのサーバ間で特盛りデータを30倍速で転送する方法 /

[nekoruri]

nc+マルチコア圧縮つよい

[k_enoki]

ほえー