メッセージキューを使って分散MapReduceを実装する 2009-02-16 - きしだのはてな
さて、JMSでメッセージキューも使えるようになって、HadoopでMapReduceも試してみた。そうするとやりたくなるのがメッセージキューを使った分散MapReduceの実装ですね。ということで、JMSを使ってメッセージキューによる分散MapReduceをやってみました。実際にはローカルでしか動かないのですが、コンセプトモデルということで。 メッセージキューで遊びたいのでJMSを試す HadoopでのMapReduceを気軽に試すサンプル Hadoopサンプルで作ったのと同じように、クラスがJavaファイル中でimportされている回数を数えてみます。 考え方として、ちょっと強引ですが、GoogleやHadoopのMapReduceは分散ファイルシステム付きメッセージキューといえます。けど小規模につつましくやる分には分散ファイルシステムは必要ないので、MapとReduceを分散することだ
米Microsoft、メッセージプロトコル「AMQP」の策定に参加
米Microsoftは10月24日（米国時間）、サーバーメッセージの標準プロトコルを策定するワーキンググループ、Advanced Message Queuing Protocol（AMQP）Working Groupに参加すると発表した。 AMQPはキューをベースとしたメッセージングシステムの標準で、プラットフォームに依存せずにビジネスプロセスなどをやりとりすることを目指す。元々はJPMorgan Chase Bankが開発したものを米Red Hatが買収した。その後、オープンな業界標準にするため、AMQP Working Groupeとしてメッセージインフラに関する仕様を共同で策定している。 同ワーキンググループの加盟企業は14社。Red HatとJPMorgan Chase Bankのほか、Credit Suisseなどの金融機関、米Cisco Systems、米Novellなどが参加
PoCo::MessageQueueをハッキング中。 - D-6 [相変わらず根無し]
PoCo::MessageQueueをハッキング中。 作者であるところのDavid Snopekさんと話し合って、PoCo::MQに統計情報を表示させるように色々とハックしはじめてる。 これにbzrを使ってるんだが、これいいな。集中管理型のVCSは企業等比較的大人数で作業するにはとても合ってるのでこれが廃れる事はないと思うが、このbazaarのような完全分散型のVCSは全く違うタイムゾーンにいる二人がお互いのコミットをマージし合う、という形にとても合ったツールだと思う。 ちなみに今の俺のPoCo::MQブランチはここです： http://users.endeworks.jp/~daisuke/code/bzr/perl_mq ここに対して bzr branch http://users.endeworks.jp/~daisuke/code/bzr/perl_mq perl_mq と
メッセージキュー事始め in Ruby (nakatani @ cybozu labs)
ruby でメッセージキューを扱いたく、stomp クライアントライブラリを試してみました。 って、奥さんのエントリとシンクロしているようですが、気のせいではありません(笑)。 1. メッセージキューを起動 ruby の stomp はクライアントだけなので、キュー(サーバ側) は ActiveMQ を使うか、Perl の POE::Component::MessageQueue で立てる必要があります。 今回は奥さんとのメッセージのやりとりが目標なので、奥さんのプログラム( POE::Component::MessageQueue 使用)をそのまま使わせてもらいました。 /usr/bin/mq.pl --data-dir /tmp/mq プチTIPS: POE::Component::MessageQueue でキューを立てて、subscribe したり、subscribe されていない
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
