rsyncの悲劇 〜本番環境を消し飛ばす前に覚えておきたいこと〜

この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です。 はじめまして、ダーシノ(@bc_rikko)です。 突然ですが、懺悔します。 私は転職して10ヶ月で2回も本番環境をぶっ飛ばしました。お客様をはじめ、関係各位には多大なるご迷惑をおかけしたことを、ここでお詫び申し上げます。 1回目は2015年11月27日、入社27日目のこと。 gitの設定ミスにより壊れたブランチをmasterにforce pushしてしまい、CIが流れて本番環境が壊れた。原因はpush.defaultなのだが、詳しくはすでに記事を書いているのでそちらを読んでほしい。 2回目は翌年9月1日、入社してちょうど10ヶ月たった日のことだ。 またしても本番環境をぶっ飛ばした。しかも、前回より盛大に……。 タイトルにもあるようにrsyncコマンドが原因だ。 当記事では、この「rsy

[eru01]

これが一番悪いわ。そもそもなんでデプロイ元に存在しないファイルがデプロイ先にあるねん。俺もrsync -a --deleteするわ / “本番で使われているモジュールがバージョン管理されていなかった”

[hasegawatomoki]

rsync の怖いのは --delete だけでなく末尾の / の有無だけでも劇的な違いがあ るので初回は --dry-run 必須ですね！

[tumo300-500]

このスクリプト、rsync 元を ./ で指定してるの怖くない……？どのディレクトリで実行するかに依存しちゃうから事故りそう

[igrep]

ここまでこのAdvent Calendar読んで思うけど、やっぱり個人のミスというより元々の管理の問題の方が重大だよなぁ... それにしてもrsyncは怖い

[bc_rikko]

rsyncで本番環境をキレイさっぱり消し飛ばす方法を書きました！各位、その節はご迷惑をおかけし申し訳ございませんでした。/ステージング環境へのデプロイは成功したので本番にマージしたところ記事のとおりです。

[gnety]

ステージング環境もデイリーバックアップもないシステムなんて壊れても影響たいしてないでしょ

[rti7743]

rsync は、怖くて、初回は --dry-run なしだと怖くて動かせない。

[tohokuaiki]

俺はrsync時にはまず絶対に-nオプション付けてdryで走らせる。絶対にだ。--deleteはなるべく使わない。消すときは極力手動で。

[u1tnk]

dry-runも知らんような新人に一人でスクリプト書かせてレビューも無しで本番デプロイやらせる上司が非道すぎる

[tarchan]

rsync --deleteといいgit push -fといい、この人強制上書きするコマンド好きだな

[rochefort]

rsyncはちょいちょい悲劇を産む

[wonodas]

他のを読んでても思うのだがなぜバックアップとリハーサルをしない。。。毎日バックアップ取ったりしてないのか？

[daidoumyakuryuu]

ぜひ、何故ステージング環境ではテストに成功したのかを詳しく書いて欲しい。

[cheesepizzacoke]

他山の石としてブクマ

[spiral]

使うコマンドの man/info は一片の例外なくはしからはしまで全部読めと，じっちゃんが言っていなかったか?

[easy-breezy]

rsync、継ぎ足していったオプションと --exclude "hoge" の羅列が理解不能で怖い

[nilab]

「この記事は本番環境でやらかしちゃった人 Advent Calendar 2019 17日目の記事です」

[knjname]

こういうの本当に嫌なんでDocker使いましょう

[jyib1302]

--dry-run大事

[T-miura]

バックアップなんぞに頼りたくないだろうが、管理外リソースの話とか、dockerとかじゃなければ、普通にありそうなのでバックアップ取っておけよって気分

[htnmiki]

そういうスクリプトは第三者がレビューしないもんなんだろうか

[neo_Neutral]

あれだが、全般的に本番システムを甘くみすぎてる。ちゃんと管理されたシステムでは有り得ない運用

[nicht-sein]

バージョン管理にない重要ファイルってのは設定ファイルなんかでありがちなので必要悪という認識なので、個人的にはdry-runは必須として、せめて初回は--deleteを使わない、ぐらいがバランス取れているあたりかなー

[gabari]

rsyncはまじでヤバイので、スクリプト上でdeleteを使うことはほぼ無い…/業務でサーバーはいじってないけど、社内用のサーバーだとスクリプトローカルでいじったりするしバージョン管理は気持ちはわかるな…

[kubihie]

—dry-runしてもログが出過ぎて何がどうなるのか把握できない

[greenT]

まー眠かったらドライランの結果見たって見落とすけどな

[ultimatebreak]

睡眠不足は最強の脆弱性 / 念入りにテストしてもdry-run外すのクッソこわい

[netcraft3]

rsync --deleteは間違って実行した時のダメージが大きいので使う場合は必ずテストしてから実行してる

[Dragoonriders]

Unixの知識のない人に本番用のスクリプト修正させるって、なんでそんなタスクを振ったのかがわからんと、誰が本当に悪いのかわからんし、もやもやする。

[Kil]

ブコメ民の、「そうそう、本番環境でやらかすというなら、せめてこれくらいの規模で吹き飛ばしてくれないと物足りない！」感すごい。数日分の鬱憤がたまっていた感じ。

[yujimi-daifuku-2222]

本番環境に更新かける際に、特段承認フローとか手順の確認が無いのね。/いや確かにその方が早いけどさ。/飛んだらサービス影響が出るのにバックアップも取ってない所に文化の違いを感じる。

[ysync]

「僕じゃない」

[delphinus35]

あれ？ src のパスの最後の / の有無で挙動が変わることについての言及がない？ 最後の例だと /path/to/www の下に project ディレクトリができないか？

[yodelx]

“本番で使われているモジュールがバージョン管理されていなかった” ！？

[route246]

本番環境なんていつ吹っ飛ばしても良いようにしておくべき。実際に吹っ飛ばすかどうかは別として…。

[atahara]

rsyncの悲劇は伝統芸能。これからも日々、言い伝えましょう。

[knok]

bashの配列使ってる

[rryu]

rsyncは階層の指定がずれると破壊神になることを忘れてはいけない…