bash スクリプトの実行中上書き動作について

を設定してから再度試した所 bar が表示された。backupcopy は編集中のファイルによって自動で判別する auto がデフォルトになっている為、試す際には明示的に yes に設定しないといけない。 bash の実装確認 evalstring.c の parse_and_execute でコマンドが処理されており、input.c の with_input_from_buffered_stream で読み込みの準備が行われている。バッファの読み込みの本体は y.tab.c つまりパーサから直接呼ばれており、このパーサは fgets(3) で読み込まれつつ実行される為、一括でファイルが読み込まれている訳ではない。 while/do でループ実行した際に、ファイルを書き換えられたら戻り先はどうなるか、についてはスクリプトはバッファ付きで読み込まれており、そのバッファがファイルシステムから読

[ono_matope]

開始時に全体をreadしていないのは歴史的にメモリ資源が高価だったからだろうけども、今となっては逐次readのリスクの方が大きく、こわい。

[t-tanaka]

たぶんそういうことじゃない。二つのスクリプトがあって，AがBを何回も呼び出す。で，Aを実行中にBを書き換えてしまった。書き換え後のBはAが環境変数を設定していることを前提としていたので・・・だと思う。

[kuzumimizuku]

不勉強で理解できてない部分もあるのだけど（他の言語処理系で起きうる話とか）こういうものとして理解しておこう（しかし不勉強なわりになぜか以前からこういうもの（実行中の上書きは危ない）として認識していた）

[lenhai]

ls -i でi-node確認すると分かり易い。同一i-nodeに対して読み込み(bash)と書き込みが発生してるのが問題であって、fgetsのアトミック性はあまり関係ない。なおファイル更新はmv(rename(2))でアトミックにやるのが良さそう。

[suica_j]

あの件元のスクリプトでset -euされていたら救われてたのだろうか

[programmablekinoko]

一括で読み込んでアトミックにした方が良かったのでは… / JITでプリコンパイルが走るスクリプト言語は当然ながら上書きしないだろうな

[OkadaHiroshi]

全読込みしないのはメモリ資源が高価だからでなく、全部読み込んでから実行するより逐次実行の方が早いからでは。書き換わったら再度読み込むのは無限ループのあるスクリプトを止めずにパッチを当るためだろうか。

[kiririmode]

“これは bash の問題ではなく、I/O がアトミックではない事で起きる問題であり、この問題を回避しつつスクリプトを入れ替えるのであれば、スクリプトが停止している事を確認するしかない”

[ngyuki]

fgetsもまとまった単位でバッファにreadしてそのバッファから1行ごとに返してるだろうからfgetsだけでは説明つかない気もするけれども・・ https://twitter.com/tmtms/status/1476056779973083136 こういうことなの

[wtatsuru]

“このパーサは fgets(2) で読み込まれつつ実行される為、一括でファイルが読み込まれている訳ではない。”

[tmatsuu]

わいわい

[kabatana]

こういう細かく検証してくださる方は本当にありがたいな。

[rryu]

読み込み中のファイルを更新する可能性は他のものでもある訳で、問題にならないのは大抵は一瞬で終わるので遭遇する確率が低いからなのだろう。

[ysik]

open(2) した後 write(2) のタイミングで Copy on Write でカーネル内のファイルハンドルを新規に生成して、プロセス毎に異なるファイルハンドルを対応させる実装だったら…。環境変数を使う複数ファイル構成だと無理か…。

[kazutanaka]

スクリプトはファイル上書きでなく、ユニーク名で新規ファイル設置＆シンボリックリンク差し替えなら、実行中プロセスに干渉しない。スクリプトのロールバックも簡単になる。

[iekusup]

なるほど。

[n314]

読み込みはともかく、書き込みなら昔はログローテートで一度はハマるものだったような。それでそのときにi-nodeと開きっぱなしのファイルの挙動を知る。

[goodstoriez]

“Linux の dash(/bin/sh)、zsh では再現、FreeBSD の sh/bash では再現せず。どうやら UNIX System-V だと再現する様です。”

[aya_momo]

MS-DOSのバッチファイルでもそういうのがあったはず。

[sugimori]

なるほど〜

[otoan52]

長く掛かるバッチ処理的の修正をするのに、文字数を合わせて書き換えたことあったな。（個人的な遊びの環境の話だけど）/ cpは書き換えだけど、mvは名前の付け替えだからな。/ for文も読み直すからメモリ対策だよ

[ikkitang1211]

めっちゃいい記事…！！ 勉強になる。

[jun_cham]

bashはインタプリタ言語じゃなくてshellだからってことだよなあ

[tettekete37564]

mv か cp かも大きいがファイルシステムによっては mv でもアトミックな挙動をしないのでなんとも。ただ起動中のプロセスを上書きってのは精神衛生上良くないからやりたくないね。

[retire2k]

ZFSのようなFileSystem（直接上書きされない）ならどうなるんやろ

[fn7]

“これは bash の問題ではなく、I/O がアトミックではない事で起きる問題であり、この問題を回避しつつスクリプトを入れ替えるのであれば、スクリプトが停止している事を確認するしかない。”

[ys0000]

ちなみにWindowsのbatchでも行読み込みであり、変な編集を加えると実行処理が変わる。なので実行中に編集してはいけない。Powershellは確か起動時に読み込むので大丈夫なハズ（仕様を当たった訳ではないので断言できず

[sugawara1991]

↓リンク)呼び出し毎にシークしなおしてるなら外部コマンドによるスクリプト自己書き換えを動作成立させるためのシェルの意図的な動作仕様の匂いがする。テクニカルに過ぎるが成立するなら使いたがるタイプ居そう

[tamanecoplus]

大昔のインタプリタ言語だって大抵は最初にメモリに全ロードしてた。bashが特殊だと思う（思いたい）

[zyzy]

bash固有の問題ではない、とは言え今メジャーに使われてる奴で同じこと起きそうなのはあんまりなくない？

[mkusunok]

実行時の断面を保持するとか、更新できないようにロックするとか、やればできそうなもんだけど

[Windymelt]

面白い。開始時に一括読み込みするオプションとかが生えると嬉しそう

[remonoil]

最近はJITばかりで忘れがちだけどインタプリタってこういうことよな

[shikiarai]

昔の実装だからそういう可能性もあるだろうなと必ず止まってる時に更新しろ殺されるぞって山の化け物への接し方みたいに口頭伝承で伝えてるけど仕様が細か過ぎて引き続き口頭伝承にしようと思った。

[Wafer]

テストで復習超大事

[kanetann]

“bash の問題ではなく、I/O がアトミックではない事で起きる問題”

[sgo2]

一括読込にしたら組み込みで使えなくなる(ash使えって?そうですね)