UNIXシェルの並列化により最大34倍高速化する「PaSh」、米MITなどが開発 プログラム結果も正確

Innovative Tech： このコーナーでは、テクノロジーの最新研究を紹介するWebメディア「Seamless」を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 米ペンシルベニア大学、米MIT、ポーランドのXIV Staszic High School、米国の研究機関Aarno Labs、米Stevens Institute of Technologyによる研究チームが開発した「Practically Correct, Just-in-Time Shell Script Parallelization」は、UNIXシェルで実行されるプログラムの速度を精度を保証しながら劇的に加速させるシステムだ。 このシステムはUNIXシェルにおいて、スクリプトを先読みして並列化を行う。これによりプログラム結果を正確な上で最大34倍高速化し、Webインデックスや自然

[circled]

UNIX哲学に一つのプログラムは一つのことを上手くやれば良く、後はそれらを組み合わせれば何でも出来る上、多少遅くともCPUは勝手に速くなるから無問題ってのが有り、シェルの並列化でついにマルチコアをフル活用に。

[ntstn]

大体前のコマンドの結果を利用するから、そんな速度あがるのかねー？とは思うけど識者ー？

[koichi_nakashima]

可能な場合に限りデータを複数ファイルに分割して、コマンドを並列実行してマージしてるだけ。伝統的な並列化手法と大差なく、遅い書き方が並列化するわけではない。残りは→ https://twitter.com/ko1nksm/status/1536497411811835904

[xlc]

裏でバッチジョブを流しながら表では動画を見る私みたいな使い方には向かないですな。

[aox]

シェシェシェシェシェシェシェシェシェシェシェシェルって感じでしょうか

[ducktoon]

すごいのかもしれないけど大事故が起きそうで怖い笑

[animist]

shellスクリプトで高速化とか同期実行アーキテクチャの縛りが強すぎて俄かには信じがたいけどマジなんかな…

[peketamin]

gnu parallelが不要になる？それともシェル自体が速くなったって話？

[zakusun]

コメント見たらあんまり夢がなさそうな話みたいだが、古典的かつ簡単な手法であっても勝手にやってくれるのは便利では。

[ysync]

そもそもシェル自体がボトルネックになってるケースってそんなにあるんか？

[mas-higa]

画像がアホっぽい。実行したら (((Unix))) って表示されるのか。

[electrolite]

ただしパイプは速くなりませんってオチ？

[door-s-dev]

すごい。けどシェルでそんな時間がかかる処理書いたことないな

[maketexlsr]

怖い

[buhoho]

既存のbashでも明示的に並列実行できるけど、裏で安全にやってくれるとなると凄い。ほんまかいなという気もしますけども

[snowcrush]

パイプラインの間にxargs -Pを自動で挿入してくれるようなものだという理解。なので、「自動」の部分の最適化が肝なんだろうな

[agricola]

configureスクリプトが遅い問題が解決すると嬉しかったり。

[buzztaiki]

インタラクティブシェルっていうか、シェルスクリプトの並列化かな。https://nikos.vasilak.is/p/pash:osdi:2022.pdf にプリプロセスした結果、どんなスクリプトになるかみたいなのがのってるみたい。

[minamishinji]

これはすごい。

[nanakoso]

シェル言語が自動並列化に対応しているってことか （言語側がきちんと対応していれば自動的に並列化は可能だが、シェルは歴史的に並列化とは無関係に便利機能を追加してきた。後方互換性に目をつぶってる気がする）

[yahihi]

なんだこれ

[pascal256]

xargs -Pと違うんかな？

[shodai]

ニーズ高いの？

[Seamless]

UNIXシェルにおいてスクリプトを先読みして並列化を行うことでプログラムの速度を精度を維持しながら劇的に加速させる。並列前と比べ平均6倍最大34倍近く高速化に。