OpenSSH 公式による scp 非推奨宣言を受け, scp, sftp, rsync を比較してみた (2020/5/25 rsync の計測結果について注記追加) - 寒月記
2020/5/26 再検証記事追加追記 Twitter でのご指摘を受けて再検証しました, 転送先のファイルを削除していないために差分転送になっていた点を考慮したものとなっています。 rsync の速度については結果が変わっています。 www.kangetsu121.work TL;DR scp はセキュリティ, 今後の開発優先度を考えて公式で非推奨宣言している 転送速度は (1GB のファイル転送の計測では) rsync >> scp > sftp Twitter でコメントをいただき, 転送ファイルの削除を都度していないので, rsync が差分転送になっているとのご指摘をいただきました。 ただいま検証中ですので, rsync の速度比較結果については判断をお待ちください。 -> 再検証しました, 画面上部の再検証記事をご確認ください rsync は多機能 かつ速い ので rsync
rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜
この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy
VPSからIDCFクラウドにrsyncだけで移設した話
先日、VPSからIDCFに個人的に借りていたサーバを移設しました。 今回はその時に移設した方法をご紹介します。 尚、今回は試しにいつもと違うエディタ使ったら見にくくなりました。ご了承下さいorz 今まで自分のメールやWebサイト的なものはVPS(KVM)で稼動していました。 超絶安定稼動していたので移設等は考えていなかったのですが、 オペミスやら何やらがあったらしく、極めつけはブロードキャストストーム。。 これは早めに解約しなければデータもなくなるんじゃないか？という危機感を抱き、 どこかに移設しようと思い立った訳であります。 ただわざわざミドルウェアを構築しなおしてやる程の話でもないので、 2時間停止のメンテ前提で一気にrsyncで移設しました。 使用用途：Web/Mailサーバ apache + MySQLでCMSはConcrete5、Wordpressの2つをインストールしてありまし
rootログインが禁止されてもrsyncをする方法 - grep Tips *
rootログイン禁止による影響 sshd_configでPermitRootLoginをnoに設定してrootログインが禁止されているとき、ssh経由でrsyncを使用すると不都合が起きる。 相手サーバにsshでログインできないため、rsyncもできなくなる。 root以外でログインしたとしても、同期対象のディレクトリ/ファイルの権限と所有者によっては、読み書き、所有者の変更等ができない。 解決手順 remote側のサーバでrsyncをsudoできるように設定する。 # visudo rsync用user ALL=(ALL) NOPASSWD:/usr/bin/rsync rsync実行部分を修正する。 rsync -a remoteip:コピー元 コピー先 ↓ rsync -a -e 'sudo -u rsync用user ssh -l rsync用user' --rsync-path=
デプロイに rsync を使う | バシャログ。
目がかい～～～の。こんにちは nakamura です。暖かくなってきたので、ぼちぼち自転車通勤始めようと思ってます。 デプロイって面倒な作業ですよね。本番環境へのデプロイは特に神経を使う上に FTP クライアント等を使っての手動アップだといつか絶対に漏れが出そう。サーバが複数台あったりするともう最悪！今日はその辺りのストレスを軽減する方法として rsync コマンドをご紹介します。 オプション色々 rsync はオプションがむちゃんこあります。代表的なものをいくつがご紹介しますが、もっと知りたい方はコマンドラインで man rsync と実行すれば公式のマニュアルが読めますよ。 -a オプション --archive オプションの略で更には -rlptgoD オプションをひとつにまとめたものです。細かい点はマニュアルを参照してもらえれば分かりますが、一言で言うと『ローカルとリモートを全く同じ
rsyncコマンドでデータの同期を行う | なおべりーのブログ
サーバを運用していると、ファイルやディレクトリのバックアップや同期をとりたいシチュエーションが多々出てきます。 そんなときはrsyncコマンドを使ってみましょう。 rsyncコマンドとは rsyncコマンドは、データの同期を行うソフトウェアです。Linux系のOSであれば標準でインストールされていることがほとんどです。 rsyncコマンドを使うことで、同一サーバ内またはサーバ間のデータ同期をとることが可能になります。 基本的なコマンドとオプション 基本的なコマンドは次の通りです。 rsync [オプション] コピー元 コピー先 オプション オプションは次の通りです。 -a ： パーミッションやグループなどを保持したまま同期ができます -v ： 処理中の経過ファイル名を表示します -e [シェル名] ：リモートシェルを実行します。 -n ： 実際の同期はせずに、実行時の動作を表示します。事項
rsyncの簡単な使い方いろいろ - hogehoge foobar Blog Style Beta
最近rsyncを使う機会があったので、備忘録として書いておきます。 rsyncとは？ rsync は、ファイル・ディレクトリのバックアップやミラーリングを行うコマンドである。ミラーリングやバックアップを行うだけなら cp コマンドでも実現可能だが、rsync コマンドには以下のようなメリットがある。 ミラーリングが可能 (単純な cp だと、削除されたファイルがコピー先に残ってしまう) リモートマシンへ/リモートマシンからのバックアップが可能 2回目以降の実行では、前回実行時との差分を調べ、必要なファイルのみ転送するため高速である UNIXの部屋rsyncより つまりはディレクトリの同期を行うためのコマンドになります。 同期元のディレクトリ構造 今回同期を行うディレクトリ構造は以下のような形のものを使用します。 /home/user/work/ -- css `-- style.css -
rsyncコマンドで覚えておきたい使い方10個 | 俺的備忘録 〜なんかいろいろ〜
Linuxで差分バックアップを行うコマンドといえば、rsyncコマンドだ。 バックアップ元ディレクトリとバックアップ先ディレクトリに差分があればそれを考慮してバックアップを取得するため、利用している人も多いだろう。 今回は、そんなrsyncコマンドで覚えておきたい使い方についてを紹介する。 1.基本的な使い方 rsyncコマンドは、基本的に以下のようにコマンドを実行しバックアップを行う。 rsync [オプション] バックアップ元ディレクトリ バックアップ先ディレクトリ オプションを指定する場合はディレクトリの指定前に行う。 2.権限、所有者等を 引き継いでバックアップする ファイルの権限や所有者、グループ、タイムスタンプを引き継いで、ディレクトリ内を再帰的にバックアップを取得する場合は、「-a」オプションを付与する。 rsync -a バックアップ元ディレクトリ バックアップ先ディレクト
帰ってきたネコブログ » Mac OS Xにrsync3をインストールした
いい加減、覚えようと思っていたrsyncコマンドですが、 ターミナルの表示が文字化けするしで、いろいろ調べてみました。 まず、今使っているMac OS Xのバージョンは、10.7.5です。 次に、以下を参考にしました。 カテゴリー名に濁点を含んだ日本語が使えない問題を解決する(Rsyncのiconvオプションを使う) http://gam0022.net/blog/2012/08/11/use-rsync-iconv-option/ なので、rsync3のインストール手順はこんな感じ。 $ brew tap homebrew/dupes $ brew install libiconv $ brew install rsync perlでバックアップスクリプトを作成 use strict; use warnings; use utf8; use feature qw/say/; binmod
【linux】特定のディレクトリを除いてコピーしたい at softelメモ
問題 以下のように、あるディレクトリをまるっとコピーしたいのですが、 # cp -pr /aaa/ /bbb/ /aaa/ccc/ はコピーしたくないんです。 cpで特定ディレクトリを対象外にするってできますか。 答え 特定ディレクトリ以外をcpしたいのなら、rsyncを使うのが簡単。 # rsync -a /aaa/ /bbb/ --exclude '/ccc/' –exclude に指定するのは、同期元の /aaa/ を起点にしたパスにする。 同期元が /aaa/ ではなくて /aaa なら、以下のように。 # rsync -a /aaa /bbb/ --exclude '/aaa/ccc/'
CentOS 7にファイルに変動があると同時にrsyncさせる『lsyncd』をインストール | 俺的備忘録 〜なんかいろいろ〜
rsyncといえば、ファイルをバックアップする上でよく利用されるコマンドだ。 それにファイルの更新を認識するカーネルの機能であるinotifyを組み合わせ、ファイルが更新されると同時にバックアップを行う事が出来るのが、今回紹介する『lsyncd』だ。 今回は、CentOS 7にこの『lsyncd』をインストール、実際に使ってみる事にする。 なお、バックアップ先のサーバでは事前にrsyncをデーモンで起動できる環境が必要だが、こちらを参考に構築済とする。 1.『lsyncd』のインストール まずは、『lsyncd』をインストールする。 コンパイルを行う際に必要となるパッケージを以下のコマンドでインストール。 yum -y install libxml2-devel lua lua-devel lua-static pkgconfig gcc asciidoc 次に、lsyncdのコンパイルを
rsync でディレクトリの同期（バックアップ） - maruko2 Note.
rsync でディレクトリの同期（バックアップ） 提供：maruko2 Note. 移動： 案内, 検索 目次 1 書式 2 option 3 使用例 3.1 source ディレクトリ内のファイルを、backup ディレクトリへコピーする 3.2 ディレクトリの同期 3.3 SOURCE で指定するディレクトリ名の最後にスラッシュを付けるか付けないか 3.4 ssh と組み合わせリモートマシンにコピーする 4 rsync サーバ 4.1 rsyncd.conf 4.2 デーモンモードで起動 4.3 rsync サーバとの同期方法 4.4 モジュールの指定例 4.5 rsync サーバのセキュリティ対策 4.5.1 同期元アドレスを限定する設定 4.5.1.1 設定例 4.5.2 同期時にユーザー認証を必要とする設定 4.5.2.1 rsync サーバ側の設定 4.5.2.2 クライアント
Command Technica：はじめてrsyncを使う方が知っておきたい6つのルール (1/2) - ITmedia エンタープライズ
Linuxなどを利用する上で、「これはどうやったら実現できるのだろう」と思うことは数知れない。本連載では、ユーザーがひんぱんに遭遇するであろう問題と、その解決方法を解説する。上級者には新たな発見を、初心者には上級者への道の手引きとなるだろう。 ファイルやディレクトリをバックアップ／同期するためのツールは幾つも存在していますが、rsyncはとりわけ大きな人気を誇っているといってよいでしょう。変更分を検出して差分のみを転送することで、ネットワーク経由でも効率的にバックアップ／同期が行える点や、sshなどのリモートシェル経由での利用が可能な点など、機能の洗練度はさすがに登場から10年以上たっているだけのことはあります。バックアップやミラーリングなどの用途であれば、基本的にはコピー元とコピー先でわずかな違いしか発生しないはずで、ファイルの相違部分だけを転送するrsyncは効率的に機能します。 そん
Samba4とrsync、シャドウコピーを用いたファイルのバージョン管理が出来るファイルサーバーの構築 | 俺的備忘録 〜なんかいろいろ〜
Blog 201505 Samba4とrsync、シャドウコピーを用いたファイルのバージョン管理が出来るファイルサーバーの構築 ファイルサーバを利用している環境は多いと思うが、よくあるトラブルがファイルを間違えて上書きや削除してしまい、過去のファイルに戻したい、というもの。 それも、数日や場合によっては数ヶ月前のファイルに戻したいという時もあるだろう。rysncとSamba4、そしてクライアントとしてWindowsのシャドウコピー機能を用いれば、これは実現可能となる。 ディスク容量に余裕が無い状態であればおすすめ出来ないが、もしディスクの容量がものすごく余っている状態なのであれば、ファイルサーバのバックアップも兼ねたバージョン管理ファイルサーバを構築すると良いだろう。 今回は同一ディスク上にファイルサーバでの共有先、rsyncやシャドウコピーで利用するバックアップ先を作成したが、実際に運用
scpとrsyncでパスのケツスラッシュのありなしの挙動を毎回迷うのでメモ - 俺たちのブログ
scpとrsync、ケツにスラッシュがあるかないか毎回確認するのでメモしておく。 個人的にはscp使わないで rsync option from/ dest/で 両方共ケツスラッシュ付けてやってる。 例 from/files_dirをdest/files_dirに持って行きたい % tree . . ├── dest └── from └── files_dir └── file 3 directories, 1 file % まとめ PATH scp rsync from/files_dir/ dest/ NG NG from/files_dir dest/ NG OK from/files_dir/ dest/files_dir/ OK OK from/files_dir dest/files_dir OK NG from/files_dir/ dest/files_dir OK OK
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
rsyncオプション - Qiita
【 rsync 】コマンド（その2）――同期元にないファイルを削除する／実行内容を事前に確認する
【 rsync 】コマンド（その1）――ファイルやディレクトリを同期する
rsyncのサンプル例集 - Qiita
Serversman@DISKについて | 4Cats_moon