Googleが開発した高速ファイル転送ツール「CDC File Transfer」が無料公開中

Googleが提供していたクラウドゲームサービス「Stadia」は、スペックの低いPCやスマートフォンなどでもインターネットを介して高画質なゲームを楽しめるサービスとして注目を集めていましたが、2022年にサービス終了が発表されました。そんなStadiaの開発過程で生み出されたファイル転送ツール「CDC File Transfer」が、オープンソースで公開されています。 GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux https://github.com/google/cdc-file-transfer CDC File Transferの開発チームによると、Stadiaの開発にはLinuxマシンが用いられていたとのこと。しかし、市場に流通している

[JackP]

下で rsync はチャンクに分けてないようなコメが★集めてますが、rsync も昔からファイルをチャンクに分けて差分がある部分だけを送信する工夫をしてます https://shorturl.at/hkNR5 | rsycn よりも速いのなら改良点はあるでしょうが

[tettekete37564]

タイムスタンプ見て必要なファイルだけ転送するってのは rsync の標準的なオプションにもあるから、ファイルをチャンクに分けて処理する辺りが新しいのだと思われる

[room661]

これを実現するにはwin/linuxの両側にエージェントが必要になるのでは？ だとするとrsync の置き換えにはならない。

[yarumato]

“CDC Streamは、Windowsでのファイル変更をLinuxに一方通行で転送し続ける機能。SSHFSと比べて2～5倍の速さ。CDC RSyncは、Windows上のCygwin rsyncと比べて30倍高速な転送を実現。”

[nminoru]

データ転送の文脈でCDCという名前を付けておいてChange Data CaptureではなくてContent Defined Chunkingの略だというのはいかがなものか？

[l-_-ll]

“ファイル分割アルゴリズム「Content Defined Chunking(CDC)」を採用することで「rsync」と比べて30倍高速な転送を実現しています。”

[KoshianX]

あーこれ便利そう。仮想マシンとかリモホで開発してるときに生成されたファイルを手元で読みたいときとかいちいち転送しなくて良くなるなあ。あとでいじってみようかな。

[gogatsu26]

“ファイルの変更された部分だけを転送するツールとしてCDC File Transferを開発”

[iwanofsky]

論より証拠、まずは試してみてからでないとなんともいやはや…

[pwatermark]

Stadiaの遺産ってのが面白いね 無駄にしない姿勢、いいと思う

[diet55]

「同期処理を行う『CDC RSync』と一方通行のストリームを行う『CDC Stream』の2つの機能が搭載」「『rsync』と比べて30倍高速な転送を実現」「CDC StreamはSSHFSと比べて2～5倍の速さ」

[magnitude99]

パノプティコン・万視塔Recorded Future社★GoogleとCIAが投資する「世界監視システム」→　https://wired.jp/2010/07/30/google%e3%81%a8cia%e3%81%8c%e6%8a%95%e8%b3%87%e3%81%99%e3%82%8b%e3%80%8c%e4%b8%96%e7%95%8c%e7%9b%a3%e8%a6%96%e3%82%b7%e3%82%b9%e3%83%86%e3%83%a0%e3%80%8d/

[m7g6s]

セキュリティー名目で情報抜かれてそう

[minamishinji]

試してみたい。

[eagleyama]

“「 rsync」と比べて30倍高速

[kako-jun]

これを利用してWSL2内のファイルシステムからWindows側のファイルシステムにコピーで同期し続ければ、Windowsからもファイルアクセスが速くなる……？（逆も）

[IGA-OS]

“「rsync」と比べて30倍高速な転送を実現” WindowsとLinux間の限定用途だけど早いんやろな

[circled]

「Windows上にCygwin環境を構築してrsyncを用いてファイル同期した場合」→ 最近WSL2が主流でCygwinがいたことを忘れていた。