GNU parallel でコマンドを並列実行する - それマグで！
コマンドを並列実行したい時があります。 たとえば、たくさんの画像を変換したり、動画を変化したりなどジョブを大量に起動することをしたいとき コマンド実行中もマルチコアのCPUが余っててもったいなーって思います。i7などは４コア２スレッドの８CPU有りますからね。 またruby などはGIL ( global interpreter lock )で上限ストップがかかってたり。 普段は xargs 並列実行は xargs を使ってます。 find | xargs -P0 GNU parallel というものを見つけた GNU Parallel を使うと並列実行が可能になるということを知りました。 早速インストール brew install parallel sudo apt install parallel prallel の特徴 並列実行したいコマンドと並列実行したいファイルを引数を指定する。
GNU parallelを試してみた | Ore no homepage
大抵の現場ではホストの情報はIPアドレスとともにエクセルで管理してると思いますが、もっとシステマチックに管理できたらいいなあなんて思ってました。 愚直にやるとすると片っ端からpingを投げたりsnmpを投げたりすればいいんですけど、管理するホストが100台〜とかになると、一個ずつシーケンシャルにやっていくと時間がかかります。そこで並列処理ができたら、ということでGNU Parallelを試してみました。 GNU Parallel http://www.gnu.org/software/parallel/ インストールは↑からソースを落としてきてconfigure&&make&&make installでOKです。 使い方は少しクセがあって、 並列化するコマンドに渡す引数は{1}{2}{3}・・・などと書く 引数は:::で区切る -jで並列ジョブ数指定 -kは入力順と出力順を合わせる ・・・
コマンドを並列に実行するGNU parallelがとても便利 - りんごがでている
最近のコンピュータは複数のCPUコアを持っているので並列にコマンドを実行することができます。 たくさんの同じようなファイルに同じ処理を実行することは、私のやっているバイオインフォマティクスではよくあります。 しかし自分で並列に実行するスクリプトを書くことはそれほど簡単ではなく、ログや実行結果の確認など煩雑な処理を書かなければいけません。 この記事では、そうした処理を簡単にするGNU parallelというツールを紹介します。 GNU parallel UNIX系のOSではインストールはとても簡単です。MacでしたらHomebrewを使って、Linuxでは各ディストリビューションのパッケージマネージャからインストールできます。 詳しくはGNU parallelのウェブページを参照して下さい(http://www.gnu.org/software/parallel/)。 Homebrew: b
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
koshigoe.jp
