シェルスクリプト リファクタリング ～遅いシェルスクリプトが供養されてたので蘇生して256倍に高速化させました～ - Qiita

はじめに ことの始まりは「シェルスクリプトでツールを作ったけど速度が遅くて使い物にならなかったので供養」というツイートを見たからです。コードを見てみると、実例をあまり見ないシェルスクリプトのリファクタリング例として丁度良い内容と分量だったため記事にいたしました。記事を書くにあたりコードの利用を快く承諾していただいた @Hayao0819 様にはこの場を借りて御礼を申し上げます。 内容は章立てで構成しており、序章で事前調査をし、第一章で一般的なリファクタリング、第二章でパフォーマンスを重視したリファクタリング、終章で少し余談をして締めくくっています。最初はパイプは並列処理されるから速くなるというのは神話（そうとは限らない）についても書いていたのですが流石に長いので分けました。それでも書きたいことを色々書いていたらめちゃくちゃ長くなってしまいましたので読み物として私がどんなことを考えながらリフ

[TakamoriTarou]

論点先取のための前置きが長すぎて本文にたどり着けない。

[taruhachi]

外部コマンドをガシガシ呼んで楽できるという旨みを捨てるならライブラリが揃った別の言語を使うかな。

[dowhile]

256倍シリーズ懐かしい

[a235]

こんなに苦労してまでシェルスクリプトにこだわる必要なんて可搬性以外にないし、そこでbashに頼るならperlやpythonの方がよっぽど楽だよねっていう。著者自身が物凄い予防線を張ってるけども。

[teramako]

「正直なところ ret=$(echo "$var" | cmd) のようなコマンド置換＋パイプラインという書き方の多くはアンチパターン」同意。僕もこの書き方嫌い

[richmikan]

外部コマンド排除はナンセンス。ループの中に置かなければいいだけ。変数を多用する手続き指向スタイルを改め、コマンド群をパイプで繋ぐスタイルに頭を切替えるのが常道。"Make every program a Filter"とUNIX哲学も説いている

[shag]

供養が正解だった。

[tkmkg8m]

“適切な言語に置き換えたのではなく自分が使える言語に置き換えだけにすぎません”。正論すぎる。

[koichi_nakashima]

いかがでしたか？外部コマンドを多用すると想像以上にボトルネックになる可能性があるということです。仮説を立て計測・検証し、出た結果が答えです。いつものやり方が常に正しいとは限らないということですね。

[gabari]

シェルスクリプトは好きな方だが、時間がかかって面倒くさい手作業を自動化する位にしか使ってないので、大抵の場合は数秒になった時点で満足だな…

[rAdio]

一定以上複雑で、一定以上パフォーマンスを必要とするようになったら、シェルスクリプトから離れて、他の手段を検討すべき段階に来ていると思った。

[k_igrs]

pythonのコマンドをshell scriptに埋め込んで関数にしとけばいいんじゃないの。

[onesplat]

注意書きがクソ長い上にドヤ顔がきつくて本文に辿り着けませんでした。シェルはオワコンではないが早くオワコンになって欲しいです。

[raimon49]

外部コマンドに頼るなら外部コマンドの使い方はちゃんと調べましょうの下りはとても勉強になる。

[rryu]

そもそも10個のファイルを処理するのに4.5秒もかかるシェルスクリプトがすごいというか、遅い要因はpython製のコマンドを1ファイルにつき5回呼び出しているところっぽい。

[xlc]

手作業でコマンドを起動しながら作業していた手順をそのまま自動化したいからshellを使うのであって、コマンド起動を置き換えるくらいなら他の言語で書いた方がマシと思うぞ。

[Kesin]

深い知識とある種の執念を感じる。個人的にはこの手の技術エントリは大好き

[b1sh0p]

そもそも外部コマンド呼び出しがそこまで遅いのはなぜなの (無知

[spiral]

記事の価値が他の平均的なQiitaの記事の256倍かそれ以上。技術的事実がいいのであって、宗教論争は別なところでやればいい。

[cj3029412]

(昔のASCIIのMS-DOSを256倍…をご存じの方の気がする…)

[pixmap]

スクリプトは期せずして他の人が長年使ったりするので、効率よりは、可読性を優先する。こういうバッドノウハウを積層できるのがbashの悪いところかつ最高に楽しいところでもあるけど。

[napsucks]

exec重いもんね。

[aox]

デスクトップアプリなら手で数えたほうが早いのでは

[kyo1man]

[[bash][][シュールストレミング]]内圧が高い…あの『臭い缶詰』ですか？

[footnote]

あとで必ず最後まで読む。

[agricola]

read lineで一行読み込みvalue=`echo $line | awk 'print $1'`で読み込んだ行から最初のフィールドを取り出しbcで$valueを定数と比較して条件を満たす行だけ出力するwhileループをpure awkで再実装したら劇的に高速化した（実話

[ultimatebreak]

なろうタイトルが侵食してきた

[tettekete37564]

勉強になりそう。後で読む

[daira4000]

第一章の内容ぐらいは意識したい

[nakag0711]

昔ならperlで書いた処理だが最近は何使うんだろね。やはりpythonか。何にしてもUNIXはスクリプトを書く上でシェルに固執する理由はあんまりないんで

[circled]

直接grepするよりも対象のファイルをcatしてパイプでgrepした方が速いってやつ。