Googleが提供していたクラウドゲームサービス「Stadia」は、スペックの低いPCやスマートフォンなどでもインターネットを介して高画質なゲームを楽しめるサービスとして注目を集めていましたが、2022年にサービス終了が発表されました。そんなStadiaの開発過程で生み出されたファイル転送ツール「CDC File Transfer」が、オープンソースで公開されています。 GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux https://github.com/google/cdc-file-transfer CDC File Transferの開発チームによると、Stadiaの開発にはLinuxマシンが用いられていたとのこと。しかし、市場に流通している
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記
2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言している 転送速度は (1GB のファイル転送の計測では) rsync >> scp > sftp Twitter でコメントをいただき, 転送ファイルの削除を都度していないので, rsync が差分転送になっているとのご指摘をいただきました。 ただいま検証中ですので, rsync の速度比較結果については判断をお待ちください。 -> 再検証しました, 画面上部の再検証記事をご確認ください rsync は多機能 かつ速い ので rsync
リモートサーバーとファイルをやり取りできる「scp」コマンドは、システム管理やソフトウェア開発の現場で長年親しまれてきましたが、オープンソースのSSH実装「OpenSSH」の最新版では利用を控えるべきとされています。手軽にサーバー間のファイル操作を行えるscpが非推奨とされた理由について、Linux開発者のジョナサン・コルベット氏が説明しています。 Deprecating scp [LWN.net] https://lwn.net/SubscriberLink/835962/ae41b27bc20699ad/ scpはSSHプロトコルを使ってリモートサーバーとファイルやディレクトリを送受信できるコマンドで、ローカルでのデータコピーに利用する「cp」コマンドと似た操作体系を持っています。データは暗号化されるため安全なコマンドに思えますが、近年はscpに対する脆弱性が数多く見つかっており「状況
GitHub - google/cdc-file-transfer: Tools for synching and streaming files from Windows to Linux
CDC File Transfer Born from the ashes of Stadia, this repository contains tools for syncing and streaming files from Windows to Windows or Linux. The tools are based on Content Defined Chunking (CDC), in particular FastCDC, to split up files into chunks. History At Stadia, game developers had access to Linux cloud instances to run games. Most developers wrote their games on Windows, though. Theref
GitHub - dropbox/fast_rsync: An optimized implementation of librsync in pure Rust.
This crate offers three major APIs: Signature::calculate, which takes a block of data and returns a "signature" of that data which is much smaller than the original data. diff, which takes a signature for some block A, and a block of data B, and returns a delta between block A and block B. If A and B are "similar", then the delta is usually much smaller than block B. apply, which takes a block A a
This post is the third article in a series of blog posts about rsync, see the Series Overview. With rsync up and running, it’s time to take a peek under the hood of rsync to better understand how it works. How does rsync work? When talking about the rsync protocol, we need to distinguish between: protocol-level roles: “sender” and “receiver” TCP roles: “client” and “server” All roles can be mixed
GitHub - hjmangalam/parsyncfp: follow-on to parsync (parallel rsync) with better startup perf
NB: If you don't want to transfer at least 10s of GB across a network, this is probably not the the tool you want. Use rsync alone if a sync, 'tar and netcat' if a fresh copy, or scp if the copy needs to be encrypted. parsyncfp is the offspring of my parsync (more info here) and Ganael LaPlanche's fpart, which collects files based on size or number into chunkfiles which can be fed to rsync on a ch
nixCraftは12月11日(米国時間)、「How to set rsync speed limit from eating all bandwidth with -bwlimit option - nixCraft」において、rsyncコマンドでデータをコピーする際に通信速度を指定する方法を紹介した。 rsyncコマンドに用意されている通信帯域幅を指定するオプションを利用する方法、ioniceコマンドでI/Oスケジューリングクラスを指定する方法、trickleコマンドで通信帯域幅を指定する方法などが紹介されている。 紹介されているコマンドの主な使い方は次のとおり。
SUSE Documentation
On the SUSE documentation site, find technical documentation, such as quick starts, guides, manuals, and best practices for all SUSE products and solutions.
Linux やMacなどでも、ファイル転送に便利な「rsync」。でも、SSHで接続する際オプションを忘れて、何回もぐぐってしまうので、こちらに網羅的にまとめます。 rsync で SSH 接続するオプション「-e ‘ssh ‘ 」 rsync といえば、SSH接続ですが、書式がやや覚えにくいです。ssh 接続には、「-e」もしくは 「-rsh」というオプションから、SSH接続コマンドを追加することで、リモート接続前に指定したコマンドを行ってくれます。 SSH プライベートキーを指定する rsync コマンド 当然ですが、リモート側にSSHが起動している、かつSSH接続できる状態に準備が整っている事が前提です。SSHのプライベートキーを直接指定します。まだ SSH config を設定してないとき時はこれが必要ですが、普通は config を設定した利用が多いと思います。 SSHでは、キ
rsync の delete オプション各種
rsync は、高速な差分ファイル転送ができるコマンドラインツールです。 さまざまな用途に使えるツールですがとくに、ディレクトリ間の同期を行ったり、ディレクトリのバックアップを作成したりする場合に使われることが多いです。その際によく使われるオプションとして -a（--archive）と --delete があります。 このうち --delete については、細かい挙動が異なるいくつかのオプションが存在しています。このオプションを紹介します。 deleteオプションとは rsync の --delete オプションは、転送元のディレクトリに存在せず転送先のディレクトリに存在するファイルがあれば削除する、というオプションです。 典型的な使い方を挙げます。src ディレクトリを backup ディレクトリの下にバックアップするには、以下のようにオプションを指定して実行すれば良いです。 このコマン
ここでは、rsyncとsshを利用してリモートサーバのバックアップを取る方法を説明する。 rsyncは指定されたフォルダ間の同期を高速に行うことができる。sshを利用するとリモートサーバとの間でディレクトリの同期処理を行える。
こんにちは。DA事業本部の春田です。 表題の件、あまりググっても解決方法が出てこなかったので残しておきます。 問題 Gitで開発していると、手元のPCで実装したコードを検証環境のサーバーに配置して試したい、なんてことは多々あると思います。これまでは検証環境のサーバーにもGitリポジトリをクローンしておいて、リモート経由で変更を反映していました。 しかし、いちいちコミットしてプッシュしてると、コミットの粒度や内容が雑になって保守性が悪くなりがちです。 解決策 Gitでローカルリポジトリを異なる端末間で同期する機能があれば嬉しかったのですが、なかったのでrsyncコマンドで解決しました。 rsync -av --inplace --ignore-errors --delete --force –progress -e "ssh -i ~/.ssh/prikey.pem" ~/work/targ
GitHub で CI/CD ! 皆さん、CI/CD 回してますか？ テストやらデプロイやらは自動で回すような風潮ができてから早数年。 これまで様々な CI/CD サービスが生まれてきました。 一方、世界で最も大きな開発のプラットフォームである GitHub は、 これまでリポジトリ管理以外の仕組みについては、インテグレ－ションで対応するという姿勢をとっていました。 が、その GitHub がある時期（買収の頃？）を境に、プロジェクト管理（board 機能）等色々な機能を 標準で提供するようになりつつあります。 そんな流れで CI/CD 機能が提供されることになったのが 2018 年の末。 現在はパブリックベータとなって、皆さん使えるようになりました。 ということで、今回はこの GitHub の CI/CD 機能、GitHub Actions を使って 簡単にデプロイ作業をする方法を見てい
Robocopy コマンド作成及び実行作業手順及びパラメーター、オプション、Tips、History. How to Make and Execute Robocopy with Option, Parameter, and so on - Qiita
Robocopy コマンド作成及び実行作業手順及びパラメーター、オプション、Tips、History. How to Make and Execute Robocopy with Option, Parameter, and so onPowerShellcmdrobocopy Robocopyの問題点 アメリカにも本音と建前がある RobocopyはもちろんRobocopのようにRobotの如く堅牢で何があってもミラーリングする。 公式はRobust Copyと言っているが、それは建前でしかない。それならRobuCopyにしかならないのでおかしい。/ZBなどどうみてもゾンビでしかない。いわゆる日本人でいう建前と本音であろう。 記事が削除されて経緯がわからない 問題点としては、古くからある割に、公式のソースや、解説のブログも消えていることが多く、現在残っているものでは、オプションの追加や経
rsync: Series Overview
For many years, I was only a casual user of rsync and used it mostly for one-off file transfers. Over time, I found rsync useful in more and more cases, and would recommend every computer user put this great tool into their toolbox 🛠 🧰 ! I’m publishing a series of blog posts about rsync: rsync, article 1: Scenarios. To motivate why it makes sense to look at rsync, I present three scenarios for w
Tools scp の代わりとしての rsync コマンドとそのオプション※当サイトにはプロモーションが含まれています。 1. はじめにscp コマンドというのは、ssh コマンドを内部で使って、ローカルホストとリモートホスト間でファイルをコピーするためのコマンドです。ssh コマンドは SSH という暗号化された安全なプロトコルを使って通信を行うコマンドなので、scp コマンドも安全であるということになっていました。 しかし、OpenSSH 8.0登場、scpよりsftpやrsyncプロトコルの利用を という記事にあるように、現在では scp コマンドが推奨されないようですので、その代わりに使える rsync コマンドとそのオプションを紹介します。 rsync コマンドもローカルホストとリモートホスト間でファイルをコピーするためのコマンドですが、どちらかというとバックアップ目的で使う印象
【Mac・ファイル同期】rsync・sshfs・fswatchを使ってローカルとサーバーを同期したら色々便利だった | 感情的プログラミング伝記 | タウン情報誌 AIR函館 - 北海道函館市の食・呑・遊をご紹介！
2019.12.11 13:00:00投稿 【Mac・ファイル同期】rsync・sshfs・fswatchを使ってローカルとサーバーを同期したら色々便利だった shell 自動化 サーバーにファイルをアップロードする基本として ローカルのファイルを編集FTPでそのファイルをサーバーへアップロード っていう作業がありますよね？ 私もつい最近までの数年間この作業をしておりました。 絶対自動化できることは分かっていたのですが、それを組むのが面倒でやってなかったんですよねー。 ということで今回重い腰を上げて自動化に踏み切ったので、その軌跡を残したいと思います。 環境 ローカルOS: macOS X Catalina (10.15.1)Shell: Bashサーバーcentos 6系 sshでローカルとサーバーが接続できること。 MacにHomebrewが入っていることを前提としてお話していきますよ
前提: インターネット回線とトラフィック量に注意 でっかいバックアップファイルをクラウドに送るため、オンプレミス環境の場合はアップストリーム方向への制限がゆるいインターネット回線を用意しましょう。こちらのエントリでも書いています。 バックアップ元データが既にクラウド側にある場合は発生するトラフィック量に注意しましょう。というか、クラウドの場合はそれぞれの環境で適したバックアップ手段が用意されていると思うので、そちらを使う方が良いかも知れません。データ量やかけられるコストを考慮して検討してください。 rclone とは rcloneはGoで実装されているMITライセンスのオープンソースソフトウェアです。 みなさんrsyncは好きですよね。僕も好きです。 rcloneとかいうステキプロダクトを使うと、Google Driveや他のクラウドストレージサービスへのアップロード・ダウンロードがコマン
以前作ったスクリプトでrsyncを使ったファイル同期（アップロード）について紹介しましたが、今回はSSHを使ったよりセキュアな rsyncによる同期について紹介します。 SSHとは ネットワーク上をやり取りする情報が平文で流れていると、ネットワークを盗聴された場合、重要な情報やパスワードなどが簡単に漏れてしまいます。これを防ぐため、情報を暗号化して送信する手段が開発され、そのひとつの手段として、SSH（Secure Shell）プロトコルが利用されてます。 SSHを利用するためのソフトウェア SSHを利用するには、SSHサーバとSSHクライアントが必要で、オープンソースで開発されているOpenSSHには、この2つが含まれてます。OpenSSHは、Linuxに標準でインストールされていて、もちろんWSLでも使えます。OpenSSHの詳細については、下記ページが参考になります。 参考：Open
はじめに こんにちは。 この記事は challenge-every-month全員でアウトプット芸人 Advent Calendar 8日目の記事です。 前日の記事は、激アウトプット芸人 の @kdnaktさんの記事です。 twitter.com kdnakt.hatenablog.com 4月からGW明けまで異常に忙しく、なかなかブログや挑戦を行えていない僕です。 今回のブログも作業の備忘録的なブログでございます。 Laravelプロジェクトのデプロイをどうしようかと考えていたのですが、Deployerを試してみようと思い、Laravel-Porjectに特化したLaravel-Deployerなるものを発見したのでこちらを使用しました。 Laravel-DeployerはCapistranoと同じくシンボリックリンク型のデプロイツールで、そのデプロイ方法は大きく5つ存在するようです。
Package rsync contains a native Go rsync implementation. This repository currently contains: gokr-rsyncd, a read-only rsync daemon sender-only Go implementation of rsyncd. It implements the rsync daemon network protocol (port 873/tcp by default), but can be used over SSH or locally as well. gokr-rsync is an rsync receiver implementation that can download files via rsync (daemon protocol or SSH). T
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Googleが開発した高速ファイル転送ツール「CDC File Transfer」が無料公開中
rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
開発者たちが慣れ親しんだ「scp」コマンドはなぜ「時代遅れで柔軟性がなくすぐに修正できない」のか？
rsync, article 3: How does rsync work?
rsyncコマンドによるバックアップで通信帯域専有を避ける方法
rsync で ssh 接続するオプション | WWWクリエイターズ
rsyncとsshを利用したリモートサーバの高速バックアップ
【Tips】2つの端末間で同じGitローカルリポジトリを同期させたい | DevelopersIO
GitHub Actions で快適なデプロイを実現する(rsync・laravel)
scp の代わりとしての rsync コマンドとそのオプション
rcloneでGoogle Driveへのリモートバックアップを自動化する【rsyncみたいなやつ】
SSHを利用してrsyncでファイル同期 - チラシのすきま
【できなくなりました】Google Driveを容量無制限で使う方法【1360円/月/人で5人以上】【クラウドストレージ】
Laravel-Deployerを使ったデプロイ - もがき系プログラマの日常
GitHub - gokrazy/rsync: gokrazy rsync