Gzip 1.7 Released With Synchronous & Rsyncable Options - Phoronix
Show Your Support: Have you heard of Phoronix Premium? It's what complements advertisements on this site for our premium ad-free service. For less than $4 USD per month, you can help support our site while the funds generated allow us to keep doing Linux hardware reviews, performance benchmarking, maintain our community forums, and much more. Gzip 1.7 Released With Synchronous & Rsyncable Options
rsyncで差分バックアップしようぜ！
単にrsyncで差分バックアップするという話です。 2012年ごろに見つけた方法を引っ張り出して話します。 が、私がお世話になっている方法がググってもあまりメジャーじゃなかったので紹介させてください。 コマンド自体はここにあったものです http://www.maruko2.com/mw/rsync_%E3%81%A7%E3%83%87%E3%82%A3%E3%83%AC%E3%82%AF%E3%83%88%E3%83%AA%E3%81%AE%E5%90%8C%E6%9C%9F%EF%BC%88%E3%83%90%E3%83%83%E3%82%AF%E3%82%A2%E3%83%83%E3%83%97%EF%BC%89
Rsync over SSH - (40MB/s over 1GB NICs)
Documentation.md The fastest remote directory rsync over ssh archival I can muster (40MB/s over 1gb NICs) This creates an archive that does the following: rsync (Everyone seems to like -z, but it is much slower for me) a: archive mode - rescursive, preserves owner, preserves permissions, preserves modification times, preserves group, copies symlinks as symlinks, preserves device files. H: preserve
websync - rsyncのWeb管理インタフェース
MOONGIFTはオープンソース・ソフトウェアを紹介するブログです。2021年07月16日で更新停止しました 今でこそバックアップを取る方法は色々と出ていますが、やはり昔ながらのrsyncが一番使いやすくて安心というサーバ管理者は多いのではないでしょうか。しかしそのUIがいつまでもコンソールベースというのはちょっと残念です。 そこで使ってみたいのがwebsyncです。rsyncにWeb管理インタフェースを追加するソフトウェアです。 websyncの使い方 rsyncでは様々なフラグが存在します。設定画面ではそれらを選択するだけで指定が出来るので、色々と使えるフラグを洩れなく設定できるのではないでしょうか。またスケジューリングも指定できるのでwebsyncがあればバックアップ、同期設定が簡単にできるようになるでしょう。 websyncはnode/JavaScript製のオープンソース・ソフト
Linuxのブロックデバイスレベルで実現するrsyncより高速な差分バックアップについて - ゆううきブログ
社内で論文輪読会みたいなことやってて、そこで紹介した論文の内容についてです。 最近、Graphite に保存しているデータのバックアップ（データ同期）に rsync 使ってて、かなり遅いので困ってた。 LISA っていう 大規模システム、sysadmin 系のカンファレンスがあって、ここから論文探してたら、ちょうど巨大データの高速バックアップの実装の話があったので読んでみた。 論文概要 dsync: Efficient Block-wise Synchronization of Multi-Gigabyte Binary Data - https://www.usenix.org/conference/lisa13/technical-sessions/presentation/knauth - Thomas Knauth and Christof Fetzer, Technische U
rsync でよく使うオプション - それマグで！
rsync 便利です。以前まとめたけど、あれはやり過ぎたので、よく気になる部分だけを抜粋した 最初に覚えるべき rsync rsync -avz /path/to/source/dir/ /path/to/destination/dir//path/to/source/dir/ の中身と /path/to/destination/dir/ に同期します。 ディレクトリをディレクトリとして送信するときは /path/to/source/dir （末尾に / をつけない） a :基本的にコレつけておけば大丈夫 -r -l -p -t -g -o -D の省略形 v :様子を表示。 z :圧縮 同じマシン内であれば必要ないかと -a の実際 a は省略形です。-a = { -r -l -p -t -g -o -D } です -r ディレクトリを再帰的に調べる。 -l シンボリックリンクをリンクと
オレオレDropBoxをrsyncで作る。 - それマグで！
DropBoxは便利らしい。でも同期遅いし、アカウント必要だし。なにより手元に２TBのHDDが転がってる物を生かしたい ファイル監視して、rsync起動 #!/usr/bin/env ipyw from System.IO import * import subprocess path = "C:\\Program Files\\MySync Suite\\Users\\User0001\\Album" fsw = FileSystemWatcher() fsw.Path = path def watcherhandler(*args): subprocess.call('rsync -avz --delete -e "ssh -i /home/takuya/.ssh/id_rsa -o StrictHostKeyChecking=no " {0} takuya@s1:~/casio '.
GitHub - seedifferently/boto_rsync: An rsync-like utility using boto's S3 and Google Storage interfaces. [DEPRECATED -- Use awscli instead]
Synopsis boto-rsync is a rough adaptation of boto's s3put script which has been reengineered to more closely mimic rsync. Its goal is to provide a familiar rsync-like wrapper for boto's S3 and Google Storage interfaces. By default, the script works recursively and differences between files are checked by comparing file sizes (e.g. rsync's --recursive and --size-only options). If the file exists on
![GitHub - seedifferently/boto_rsync: An rsync-like utility using boto's S3 and Google Storage interfaces. [DEPRECATED -- Use awscli instead]](https://cdn-ak-scissors.b.st-hatena.com/image/square/401a2b4fd5894f675246e7e215e7d75bd7321cb8/height=288;version=1;width=512/https%3A%2F%2Fopengraph.githubassets.com%2Fb83de6821863fef5db1c9866effe8bc4aa75a926605b937bc098bfc1710696a7%2Fseedifferently%2Fboto_rsync)
lsyncd を使ってWinSCP的なリアルタイム同期を実現する．使い方 - それマグで！
lsyncd は rsync をinotify で実行する．つまりファイルが書き換わったら転送。 ディレクトリを監視して，ファイルが更新されたら転送．同期． 以外と便利で，ファイルがワープするみたいな感覚になった。これはオススメかもしれない． lsyncd の特長 同期ミラー構築ツール lsync はリアルタイムでファイルを同期する． ファイル・フォルダを監視する． ファイルが更新されたら同期コマンド実行 二つのディレクトリを監視して、更新されたら、同期を取ります。新規追加・削除も同期可能です．ｎ個のディレクトリでも使えます． lsyncd の中身 更新監視には inotify を使用 ファイル更新タイミングでrsync 実行 受け側には rsyncd を使う 送信先には rsync 使う rsync オプションは任意指定可能 drdb など他のミラーソフトとの違い lsync は ファイ
サーバにあるファイルのバックアップの件 - ヽ( ・∀・)ノくまくまー(2010-03-17)
やはり一番重要なのは「データ」ファイルであり、それを簡単にバックアップするためには、専用のディスクを割り当てるのが一般的だろう。従って、以下の鉄則を得る。 鉄則1: mount /dev/sdb1 /data device 名は環境に依存するが、mount point は /data しかありえない。だってシンプルだから。うん間違いない。名前重要！もちろん忘れずに、アプリが利用するデータディレクトリの格納場所は /data 以下にしておく。このような「データ」ファイルの隔離は、OSを入れ替える時の可搬性としても非常に優秀で役立つのだが、件の復旧を考えると、これだけでは不十分である。「設定」ファイルを復活させるのも意外と大変だからだ。そこでぱっと思いつくのが、 大事そうな設定ファイルを /data への symlink にする /etc 自体をもう /data への symlink にする
Main Page - Scponly wiki
What is scponly? scponly is an alternative 'shell' (of sorts) for system administrators who would like to provide access to remote users to both read and write local files without providing any remote execution priviledges. Functionally, it is best described as a wrapper to the tried and true ssh suite of applications. A typical usage of scponly is in creating a semi-public account not unlike the
ARAKI notes - macosx <-> debian <-> vistaでファイル共有をする
まあこれもまたこんなの簡単だろう，とおもっていたらはまっていたのでメモ． 先日はmacはありがたいことにrsyncがデフォではいっているので簡単にmac->linuxはできたなどと書いていたが，実はそんなに簡単じゃなくて，rsync 3.0 にして --iconvをつかえばokそうだ，とも書いたののまとめ． 基本的には mac<->debianはrsync3.0.3でsyncdebian<->vistaはsynctoy2.0を使う．mac portsでrsync3.0.3にする．いれたrsync3.0.3にPATHをちゃんと通しておく．iconv --listをして UTF-8-MACがあるのを確認する．debianで使うfile名のencodingを決める．UTF-8でいいだろう．rsync --iconv=LOCAL,REMOTEと指定するので，--iconv=UTF-8-MAC,UT
リモートサーバー側の負荷を抑えてrsyncを実行する方法
全て 1.このサイトについて 2.作品DB開発/運用 3.ホームページ制作技術 4.Perl 5.C言語 / C++ 6.検索エンジン&SEO 7.サッカー 8.自分のこと 9.Linux 10.旅行 11.思ったこと 12.パソコン 13.Berkeley DB 14.その他技術系 15.企画 16.スマートフォン 17.鑑賞 18.皆声.jpニュース 19.インターネット業界 20.運用マニュアル(自分用) 21.技術系以外実用書 22.料理 23.ALEXA 24.アニメ 25.会計 26.漫画 27.設計書 28.色々サイト作成 29.サーバー 30.自分専用 31.生活 32.OP/ED/PV 33.ゲーム 34.DB整備 35.新規開始作品紹介 36.英語圏の話題 37.大道芸 38.映画 39.PHP 40.ダイエット 41.Mac 42.JavaScript 43.MySQ
窓の杜 - 【REVIEW】フォルダを同期させるMS純正の高機能コマンド“robocopy”をGUIで「RichCopy」
「RichCopy」は、フォルダを同期させるマイクロソフト純正コマンド“robocopy”と同様の機能をGUIで再現したソフト。編集部にてWindows XP/Vistaで動作を確認した。現在、同社の技術者向けWebマガジン“TechNet Magazine”のWebサイトからダウンロードできる。 “robocopy”コマンドは、Windows Vistaなどに同梱されているマイクロソフト純正のフォルダ同期コマンド。指定した2つのフォルダをミラーリングしたり、指定したフォルダのバックアップを作成可能で、その際にはファイルの日付や拡張子などでフィルタリングできるほか、ファイルがロックされていたりユーザー権限の問題でコピー作業中にエラーが発生した際の処理を、きめ細かく指定することも可能。 さらに、リモートPCとのフォルダ同期にも対応しているほか、同期すべきファイルのリストアップとコピー作業のス
地雷だらけのrsyncを理解する。 - こせきの技術日記
rsync -avz --exclude-from=pattern-file --delete SRC/ DEST SRCの末尾に/をつける。たいてい必要。 SRCスラッシュの有無は、mv SRC DEST と mv SRC/* DEST の違いと一緒。スラッシュの後ろに*が省略されているものと考える。 DESTのスラッシュの有無は関係なし。 --dry-run(-n)をつけて試す。 SRC、DESTともローカルのディレクトリを指定して試す。 DESTはまず空ディレクトリで試す。DESTが同期済みだと何が更新されるのか正確にわからないので。 --list-onlyをつけてファイル一覧を得る。 DESTを省略してファイル一覧を得る。 --list-onlyと同じ？ --deleteはDESTのファイルを根こそぎ削除する可能性がある。注意。 --delete-excludedは使わない。--d
熟練管理者御用達のバックアップツール「rsync 3.0」 - Mac対応強化 | エンタープライズ | マイコミジャーナル
rsync開発チームは3月1日 (米国時間)、オープンソースのファイル転送ユーティリティ「rsync 3.0」を正式にリリースした。同チームWebサイトでは、各種UNIX系OSでコンパイル可能なソースコードのほか、LinuxやWindows向けのバイナリパッケージが公開されている。 前バージョンの2.6.9以来約1年4ヶ月ぶりとなる今回のリリースでは、ファイル転送アルゴリズムを改良。同じrsync 3.xと通信するときには、転送速度が大幅に向上するほか、メモリ消費量も軽減される。 商用UNIXを中心に普及しているACL (アクセス制御リスト) もサポート。UNIX系OSのファイルシステムでは一般的なパーミッション情報に加え、特定ユーザ / グループの詳細なアクセス権情報を扱えるようになった。「--iconv」オプションも新たに追加、同期時におけるファイル名 / 文字エンコード形式の変換が可
ウノウラボ Unoh Labs: ベンチャー流サーバ構築のススメ(同期ツール編)
ダイエット中で炭水化物の量が気になる尾藤正人です。 前回のエントリベンチャー流サーバ構築のススメ(ソフトウェア編)では、主にOS周りのことについて書きました。複数台のサーバを管理するのに重要なのは極力構成を同じにすることです。そうすることで管理コストが大幅に下がります。 以前Klabさんのサーバ管理者向け無精のすすめ ～ちょっと便利なツールの紹介～というエントリで同期ツールの紹介がありましたが、ウノウでも同じような感じの独自ツールを作って同期をとっています。今回はこの同期ツールの紹介をしたいと思います。 僕が shell scripter ということもあってスクリプトは全て sh で。zsh の特殊な記法が使いたかったので zsh で書いています。 凡例 全てのコマンドは最後に対象とするホスト名を指定します。all というは特殊な指定で全てのサーバに対してリクエストが送られます。 共通関数
LunaTear: ディレクトリ同期
マシン間でファイル同期をさせるのにいまいち良いソフトが見つからず困って居たところunisonというソフトを発見したので試してみました。 同期ソフト自体はそれこそたくさんあるのですが、片方同期(と言うよりはバックアップ)メインだったり、両方同期があっても削除したファイルが同期相手からレストアされて同期中のディレクトリにゴミファイルが溜まっていく一方とかどうにも使い勝手が悪いものばかりでした。 そんなこんなで困っていたところ、それを解決出来そうなunisonというアプリがあることを知ったので、インストールして試してみることにしました。 で、ローカルでテストしてみたところまさに理想の挙動をしたので早速採用することにしました。 ちなみにUnisonの特徴は以下の通り GUI版もあるが基本的にはコマンドラインベース rsyncアルゴリズムを用いた高速な同期 前回同期時の状況を記録しているため、増減し
SSHによるポート転送
国内初のTLPテストシステム!! ESD保護回路特性の把握に強力な助っ人!! データ保存機能を使って、サンプリングポイントを変更しての再計算も自由自在 パルス幅1nS対応のVF-TLPタイプもあります 壁をのりこえてremoteとserver1でファイルの交換をおこなう 前のページでは、server1で、さまざまな操作をすることが 目的でしたので飛び石づたいにログインしました。 しかしこの方法で remote と server1 間でファイルのやりとりを行おうとすると 一旦 gateway にもってきて、さらに移動というように2段階の手順を 踏む必要があって面倒です。 ポート転送を準備する このような場合には、ポート転送の機能を使うとremoteから server1へ直接コネクションを張ることができ便利です。 ポート転送を行う場合には2つの端末を開きます。 一方はポート転送用でr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - thbar/rsync-windows: How to install rsync on windows (not yet automated)