【謎】本当にあったfindコマンドの怖い話【おもしろ現象】

3/21 22時頃: 質問編へのリンクを撤去し、タイトルを変更しました。(元のタイトルは「【謎】本当にあったfindコマンドの怖い話【未解決→解決済み】」) 要約 100万個のファイルに対して、find コマンドから始めて mv コマンドでファイル名を変更するワンライナーを実行すると、 mv コマンドが約158万回実行されました。 背景 これは、Software Design 2018年4月号 Software Design 2018年4月号 の「シェル芸人からの挑戦状」の記事執筆中に遭遇した不思議な現象です。1 初めはコラムに書こうとしていたのですが、結局原因がわからず、解説が書けなかったために紙面からは外すことにしました。 流石に結論が「わかりませんでした」で雑誌には載せられないので……。 現象自体は面白かったため、代わりに個人のブログの方に書くことで共有します。 (掲載の許可は頂いて

[craftone]

単にパイプでつないだfindとxargsとmvが並行に動くことを忘れてるだけでは。。mvした結果をfindが読んでるね。

[tagomoris]

shell芸……未解決…… / readdirがrename済みのを読んでる / awkとxargsの使いかたがひどい、find には -exec というものがあるんだから使いましょう / id:punychan 書きかた悪かったですね(修正しました

[xbs2r]

http://yarchive.net/comp/linux/readdir_nonatomicity.html 大した話じゃないからこのポストを読みたまえ。パイプもスレッドも出てこない

[FunnyBunnyDizzy]

分からないことを分からないって書くだけでこんなにマウント取られるはてブはやはり悪い文明。

[punychan]

要約の1文読んで、mvしたファイルがまたマッチしてるんだろうなと思ったらそうだった。／ id:tagomoris -execもこのケースでは無力では。

[zu2]

当たり前の現象に見えるんだけど、これが不思議に思える人がいるということは、脳内で想定しているモデルが違うんだろうな / スレッドは関係ないよね、たぶん

[Akimbo]

findで検査中のものを書き換えてるから、結果が不定になるだけだと思う。パイプでつなぐのではなく、コマンド群を一旦ファイルに吐き、それをシェルで実行したらぴったり百万回になると思うよ。

[su_zu_ki_1010]

解決編を読んでからこちらのトップコメントを改めて読み返すと趣があっていいですね。(気を付けよう…)

[tsutsumi154]

find時点でもっとちゃんと絞ればいいのでは雑すぎる/単一ディレクトリに100万のファイルって時点で許容出来ないファイルシステムもありそう

[megane1972]

同じディレクトリの中にmvしてるんだから、そうなることもあるんじゃない？

[luccafort]

解決したみたいでよかった。はてブが凄まじいことになってるが原因として考えられるものがそれだけあるということなのでコマンドマジこわい。

[side_tana]

!?

[zorio]

たぶん未定義動作。 "If a file is removed from or added to the directory after the most recent call to opendir() or rewinddir(), whether a subsequent call to readdir() returns an entry for that file is unspecified." http://pubs.opengroup.org/onlinepubs/9699919799/functions/readdir.html

[masudaK]

地味にふとした瞬間ハマるとかありそう

[syossan]

怖いな…怖いな…

[a96neko]

見てる

[rryu]

置換後のファイルが含まれないようにfindの条件を絞らないと危ないのでは思ったらやっぱりヒットするのか。イテレーションの対象をイテレーション中に変更すると結果が不定になるというありがちな罠ではある。

[Lumin]

mv後の結果をfindが食ってると思う。思うだけで本当かどうかはわからないけど。。／解決編みた。なるほど

[greymd]

「パイプがー」「並列処理がー」てブコメで言ってる人は解決編読みましょうね。 http://www.kunst1080.net/entry/2018/03/21/132836

[delphinus35]

一瞬で解決してた（ブコメで）

[yamadar]

ブコメを読みに来た

[petitbang]

自分もやってしまいそうなミスだけど、結果から何が原因なのかはすぐに分かりそうなもんだよなあ。自分ならfindの結果をテンポラリファイルに書き出すだろうけど“シェル芸”には反するのかもしれない。

[qtamaki]

findした端からmvしてるから何度も引っかかる

[cj3029412]

（おもしろかったw）

[odz]

単にfindとmvが並列に走って移動後のファイルが再スキャンされてるだけ。なお、grep -rとかでも対象ディレクトリ以下のファイルにリダイレクトすると似たような事象が発生する。

[bohemian916]

誰にとっても、知らないところでよく分からない動作をされると怖いという話。技術力によって怖いと思うレベルが異なる。初心者ならポインタの動作だけで怖くなるよ。

[sugawara1991]

ブコメのツッコミがマサカリそのものなわけで。まあ当方もDOS時代のパイプの概念が抜けきらないのは純粋UNIX系との温度差か。並列実行単位間の通信は組み込みやってると頭が痛くなる系ではある

[t-cyrill]

すでに答えが書かれていた

[nakag0711]

まったく並行プログラミングは地獄だぜ

[uva]

ここでマウントとってる人たちは不可解な問題に遭遇した時に、基本的な見落としや勘違いが原因だったという経験はないんだろうか？情報を公開してくれる人に対してのリスペクトが欠けていると思う

[shikiarai]

普通やん

[ab_sn]

本当にあった〜コマンド を書籍化してほしい。 ニワカなベストセラーに！

[nadanonadanotamenonadaniyoru]

別に怖くなかった。

[slash_01]

ふふ

[MacRocco]

情報の返報性の分かりやすい事例。

[razokulover]

ブコメが変に荒れてる

[bottomzlife]

findの結果からディレクトリ抜くのにgrepしてる時点でもうクソだし。シェル芸とか言ってる上田を中心としたクラスタは死ねばいいと思うよ。レベル低すぎんねん

[junpeso]

同じディレクトリにmvしてるからじゃね