xargs を使ってカジュアルに並列処理 - たごもりすメモ
シェルからでも重い処理というのはちょこちょこあって、例えば超デカいログファイルを移動して圧縮したりというお仕事は世界中のあらゆる場所で毎日行われていたりする。コマンドラインからでも大量の圧縮済みログファイルをいっぺんに展開したい、とか。 あるディレクトリ以下に存在するたくさんのファイルを(圧縮済みのものを除いて)全部 bzip2 圧縮したい！と思ったら、とりあえずさくっと次のようにコマンドラインで叩けばいい。 $ find . -not -name '*.bz2' | xargs bzip2 これで、まあそんなに問題なく効率的にbzip2圧縮ができる。だがしかし。 最近は複数コアのCPUが普通に転がってるし、あまつさえHyperThreadingが有効になってたりしてOSから見える論理CPU数がハンパない。普通に8とかある。その一方で複数コアを使用してくれるコマンドというのはあんまりなくて
CHARMm + Intel-MPI + InfiniBand
一般的に新しい開発環境の普及はハードウェアの普及よりタイムラグがあり遅れる Quad-Core XeonやDual-Core Xeonでのメモリ帯域不足を懸念する議論は、新技術の導入初期に起こりがちな、開発環境の開発の遅れに起因する場合が多く、時間が経って解消するものも多いと弊社では考えています。これらのことは古くからHPC計算機を利用されている方なら経験されていることと思います。昔は新アーキテクチャが登場してから、対応する開発環境がユーザの手元で整備されるまでに１〜２年のタイムラグは当たり前でした。さらに、その環境で開発されたアプリケーションが配布されるにはそこから１年近くもかかっていました。最近の事例ではPentiumIIIからPentium4 (NerBurst) への移行期にもこの現象が起こり、２年程度のタイムラグがありました。この構造は現在でも大きくは変わらないと考えられます。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fedora Core 5 x86_64でMPI PC clusterを作る
