Rubyで並列処理が簡単にできるgem parallel - 酒と泪とRubyとRailsと
require 'rubygems' require 'parallel' require 'open-uri' require 'digest/md5' urls = [ 'http://farm4.staticflickr.com/3052/3086132328_e2041be795.jpg', 'http://farm7.staticflickr.com/6053/6312937936_cebaf2feb9.jpg', 'http://farm1.staticflickr.com/54/131841577_0e67642c02.jpg', 'http://farm3.staticflickr.com/2293/2266151759_058e732577.jpg' ] Parallel.each(urls, in_threads: 2) {|url| puts "start downl
4コア8スレッドCPUを手に入れたので試してみたら不思議な結果に - きしだのHatena
インテルCore i7 2600Kという4コア8スレッドのCPUを手にいれたので、並列処理でどうなるか試してみたら、面白い結果に。 Intel CPU Core i7 i7-2600K 3.4GHz 8M LGA1155 SandyBridge BX80623I72600K 出版社/メーカー: インテル発売日: 2011/01/09メディア: Personal Computers購入: 2人 クリック: 58回この商品を含むブログ (6件) を見る ソースは最後に載せますが、1億5千万件のint数値を複数回合計するという処理を行って、時間を計測してみました。 メモリは8GBで、VMオプションには-Xmx2048mを指定しています。 Java VMは、JDK7ea b140です。 で、Ubuntu10.04の32bit版で実行した結果。 --- result --- 1 threads:15
KOSHIGOE学習帳 - [system] GNU parallel 使用例
GNU Parallel の Manpage にある Example をメモ。 GNU Parallel - GNU Project - Free Software Foundation GNU parallel は xargs の様な感覚で引数を取りながら、処理を並列に実行するコマンド。for や while の代用として、ループを簡潔に書くためにも使える。 例：xargs -n1 の様に引数リストを一つずつ処理する みつかった HTML ファイルを圧縮する。 $ find . -name '*.html' | parallel gzip 改行やスペースなどを含むファイルへの対処。 $ find . -type f -print0 | parallel -q0 perl -i -pe 's/FOO BAR/FUBAR/g' -q0 オプションを使う 例：コマンドラインから引数リストを読み
GNU Parallelがすごすぎて生きるのがつらい
皆さん今日もたくさんのサーバを相手にされていることかと思いますが、いくつかのサーバにアクセスして 1 秒間の統計情報(例えばvmstat 1 2)を集めてパッと表示したい時ってどうやってますかね？shell script を学びはじめたばっかりの僕はこんな感じで書いてました。 $ for i in host1 host2 host3; do ssh $i "vmstat 1 2 | tail -1"; done 0 0 0 329004 210836 14275360 0 0 0 2424 1410 1828 0 0 100 0 0 0 0 0 3716112 587704 25921684 0 0 0 488 1643 2026 0 0 100 0 0 1 0 0 555440 265560 14015548 0 0 0 4204 1534 2392 1 0 99 0 0 vmstatと
連載: IBM Watson Workspace #鬼わか アプリケーション開発: 第 7 回: IBM Watson Workspace で AI を利用したアプリ連携の実現 #鬼わか 解説（前編）
並列メッセージングフレームワーク「MessagePack-RPC for C++」リリース - Blog by Sadayuki Furuhashi
分散KVS kumofs のコードは、全体で約2万行です。 そのうち、ネットワークI/Oやプロトコルに関するコードは約1万行で、全体の約半分を占めています。 並列イベント駆動I/Oフレームワーク「mpio」リリース ネットワークアプリケーションを実装する上で、もっとも大きな障壁は、ネットワークI/Oとプロトコルです。 では、それが両方ともフレームワークでサポートされ、コードを書く必要が無くなったらどうでしょうか？ 54行で簡単な分散KVSを実装したり、140行で分散リアルタイム検索エンジンを実装することができます。すなわち、インデックス作成サーバ、検索サーバ、DBサーバなど、多数のサーバが連携し、スケールアウトの恩恵を得ることができるネットワークアプリケーションを、１台のホスト上で動作する並列アプリケーションとほぼ同じように書くことができます。 実装上の問題から解放されれば、並列性や耐障害
アプリケーションがマルチスレッドでもマルチコアCPUを活かせない件 - blog.nomadscafe.jp
もっと詳しい方のフォロー募集です アプリケーションがマルチスレッドになってもネットワーク処理が分散されなければマルチコアを活かせない典型的な例です。id:viverの古橋さんがs100kpsとしてあげていた件にも近いかも。 memcachedで現象を確認します。最近のmemcachedはマルチスレッドで動くようになっているので、まずはそれを確認します。 $ memcached-tool localhost stats|grep threads threads 4 スレッドが4つで起動しています。 負荷がそれなりにある状態(8000req/sec程度)で、コマンドラインでtopを開き、「1」キーを押して、CPUごとの使用率を表示します。(例はFedora8 kernel-2.6.23) Tasks: 77 total, 1 running, 76 sleeping, 0 stopped, 0
Java・関数型言語・並列処理 - 中しまのメモ
やっぱり並列処理が鍵 近年、CPUの進化が高速化から並列化へとシフトしつつあることは明らかで、並列処理についてきちっと学ばなければならないと思っている。ここ数年で関数型言語がかなり見直されているのも、並列処理への適性が大きな理由の一つだろう。今や古さの象徴として語られることが多くなってきたJavaも、並列処理をより強くサポートする方向へと進んでいる。以下は一年前の記事だけど、端的にそれが語られている。 「Javaに並列処理と関数型言語の要素を」、ティム・ブレイ氏 -@IT 関数型言語は、一般的な言語とコードの書き方が大きく異なるものの、いずれJavaに関数型プログラミングの要素を入れていくことも必要だとブレイ氏は語る。 さて、それから一年が経った。どんなのものが出てきたのか。 分割統治法（fork/join） IBMのdeveloperWorksに、Java SE7にて追加される並列処理機
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
The S100Kps problem（ソフト割り込み毎秒１０万回問題） - sdyuki-devel
