分散キューという名の苦しみ - Software Transactional Memo
TL;DR 分散システムにおいてキューを導入する場合、本当にキューが必要なのか再考すべき。そこが地獄の入り口だから。 システムの抽象 コンピュータの世界は、本来は0と1の信号の羅列が飛び交う無機質なものである。でも人類は信号だけですべてを語らず、様々な喩えを定義してきた。それはデスクトップ・ウィンドウ・マウスカーソルといったグラフィカルな表現に留まらず、パケットやカプセル化といった用語にロック・キュー・リスト・木などのアルゴリズムやデータ構造の世界にも自然に溶け込んでいる。これらはすべて人間の理解を助けるための喩え話に過ぎず、この喩えこそが人間のより直感的な理解をもたらす一方で、発想の制約を生み出してきた。 人間が大きなシステムを作るときも何らかの喩えを用いてシステム全体を整理する。アーキテクチャの「ポンチ絵」を描いて情報共有をするのは企業に勤めていれば経験した人も多いだろう。パワーポイン
分散型メッセージングミドルウェアの詳細比較 | POSTD
メッセージキュー について書いている連載の続きとして、今週末は分散型メッセージングを実行するための様々なライブラリを詳細に分析していきたいと思います。今回の分析では、APIの特性、デプロイメントやメンテナンスの容易さ、そしてパフォーマンスの質を含めて2、3種類の異なる側面に着目します。メッセージキューは2つのグループに分類できます。ブローカレス（brokerless）とブローカード（brokered）です。ブローカードなキューはエンドポイント間に何かしらのサーバを挟んでいますが、ブローカレスなメッセージキューは、メッセージ送信の際でも間に何も挾まないP2Pです。 今回分析するのは以下のシステムです。 ブローカレス nanomsg ZeroMQ ブローカード ActiveMQ gnatsd Kafka Kestrel NATS NSQ RabbitMQ Redis 取り掛かりとして、ほぼ間違
Homepage | Celery: Distributed Task Queue
This document describes the current stable version of Celery (5.3). For development docs, go here. Celery - Distributed Task Queue¶ Celery is a simple, flexible, and reliable distributed system to process vast amounts of messages, while providing operations with the tools required to maintain such a system. It’s a task queue with focus on real-time processing, while also supporting task scheduling
ØMQ(zeromq)について調査する。
ØMQ(zeromq)について簡単に調査したのでメモ。元ネタはØMQ - The Guide。 概要 N-N通信を実現する、socket API風軽量メッセージングライブラリ。 自動的な再接続や、メッセージのキューイングを行ってくれる。 複数のメッセージングパターンと呼ばれるものを組み合わせることによって、柔軟なメッセージ配信を行うことができる。 ライブラリについて socket APIライクなC APIを持つ。以下socketは、zeromqのsocketを指す。 zeromqはコンテキストというものを通じて使う。1コンテキストに、I/Oスレッドが1つ割り当てられる。基本1プロセスに1コンテキストでOK。複数のcontextを持つことはできるし、その場合は同じ個数のI/Oスレッドが走る。 zeromqのsocketは、プロセス内通信(スレッド間通信など)、プロセス間通信、TCP、UDPマ
ZMQ Perl バインディング - D-6 [相変わらず根無し]
ZMQ Perl バインディング 2012年3月26日 09:50 D | ブログ記事のURL | コメント(0) | トラックバック(0) ZeroMQ.pmをつい相続してしまってから本家libzmqの変更についていけず大分悩んだんだけど、ここのところ直してリクエストが多かったので一念発起してlibzmqのPerlバインディングを大幅リニューアルしました。まだ正式リリースは出してないので、何か文句を言うなら今のうち！英語での解説はこちら いままでlibzmqの直接バインディング、定数、Perlっぽいシンタックスシュガーのラッパーを全部同じディストリビューションにいれていたのをばらしました。これまでZeroMQ::Raw とされていたのは ZMQ::LibZMQ2 ならびに ZMQ::LibZMQ3 となりました。ZMQはこれらのバインディングをうまいことオブジェクト風味にするPPモジュー
AnyEvent::RabbitMQ - メッセージキュー…使いこなしてますか？ - Articles Advent Calendar 2011 Hacker
前置き こんにちは。cooldaemon と申します。みなさん、意識は高まっていますか？ 私は上々です。今回は拙作の AnyEvent::RabbitMQ というモジュールを紹介いたします。 AnyEvent::RabbitMQ は、AMQP ブローカーと非同期にメッセージを送受信するための AMQP クライアントです。AMQP とは、メッセージを扱うミドルウェアのオープンな標準仕様です。AMQP の正確で詳しい内容は、AMQP の公式サイトや Google をご確認ください。 本当の事を言うと、名前は AnyEvent::AMQP::Client でも良かったのですが、私は、AMQP ブローカー実装の一つ RabbitMQ を常用しており、RabbitMQ 以外の AMQP ブローカーを利用する機会も必要もなく、また、接続性を保証する事もしたくなかったので、あえて名前に AMQP を含め
RabbitMQ のクラスタリング機能にキューのミラーリングが追加されたので RabbitFoot (AnyEvent::RabbitMQ) から試してみる - cooldaemonの備忘録
クラスタリングやキューのミラーリングの詳細は、下記参照の事。 RabbitMQ - Clustering Guide RabbitMQ - Highly Available Queues RabbitMQ をクラスタリングする 今回はサーバを複数用意できなかったので、一つのサーバ上で RabbitMQ を二つ起動する。 % RABBITMQ_NODE_PORT=5672 RABBITMQ_NODENAME=rabbit1 rabbitmq-server % RABBITMQ_NODE_PORT=5673 RABBITMQ_NODENAME=rabbit2 rabbitmq-server起動したら、rabbit2 の方を一旦停止(ErlangVM は停止しない。RabbitMQ だけ停止)して、クラスタリングの設定を行ってから再起動する。 % rabbitmqctl -n rabbit2 s
Webアプリケーションにおける Job Queue システムの構成例と Worker を作る際に気をつけること - blog.nomadscafe.jp
Webアプリケーション内で処理を直列に実行せずにJob Queueに回して非同期に実行することが多くなって来て久しいと思いますが、そのおすすめ構成と気をつけることについてつらつらと。 1) 既存のデータベースをキューとして使う構成例 １つ目はMySQLなどのデータベースをキューとして用いる例。既にアプリケーションで利用しているデータベースにキュー用のテーブルを作成して利用します。データベースを利用したキュー管理の仕組みとしてJonk、Qudo、TheSchwartzなどがPerlでは有名どころです。 依存するミドルウェアが増えないので最もシンプルな構成になると思います。 上記の図ではWorkerはアプリケーション内で実行することで冗長性を確保しますが、キューを格納するデータベースはSPOFになります。しかし、、データベースに障害があった場合キューだけでなくすべてのサービスが停止すると思われ
RabbitMQ を Perl から利用するため、AMQP Client と管理用のコマンドラインツールを作りました - cooldaemonの備忘録
素直な書き方をしている*1ので、コードを読んでもらえれば AMQP が何か解ります。*2 cooldaemon's RabbitFoot at master - GitHub AMQP Client の概要 RabbitFoot という名前です。内部で Net::AMQP を利用しています。 RabbitMQ 1.7.0 が対応している AMQP のクラスとメソッドにだけ対応しています。具体的には下記の通りです。 Exchange Declare, Delete Queue Declare, Delete, Bind, Unbind Basic Publish, Consume, Get, Ack, Recover, QoS Tx Select, Commit, Rollback Multi Channel に対応する事が面倒だったため、Single Channel で動作します。*3 逐
Perl で作成した RabbitMQ 専用クライアントライブラリを AnyEvent と Coro で非同期化しました - cooldaemonの備忘録
以前、AMQP と RabbitMQ を学ぶために RabbitFoot という名前の Perl 版のクライアントライブラリを作成したのですが、非同期化して欲しいと要望を頂いたので、AnyEvent と Coro を利用してみました。 AnyEvent と Coro は、今回、初めての利用となるため、識者からの厳しいツッコミがあると嬉しいです。 cooldaemon's RabbitFoot at master - GitHub Consume 用の Channel を五つ、Publish 用の Channel を一つ開き、Channel 間でメッセージを送受信する例は、下記の通りです。 use Coro; use RabbitFoot; my $rf = RabbitFoot->new()->load_xml_spec( '/path/to/fixed_amqp0-8.xml', )->
cohtan blog: オープンソースで構築する非同期分散処理のプラットフォーム
2010年1月29日金曜日 オープンソースで構築する非同期分散処理のプラットフォーム 先日のエントリでお伝えした通り、現在新しいビジネスの立ち上げに奮闘してます。 その中で、最近流行（？）の非同期に分散処理するようなプログラムを書きましたのでそれについてエントリを書きたいと思います。 今回作っているビジネスモデルは基本的にサーバーサイドのアプリケーションのリソースを切り売りしていくモデルで考えているのですが、その中で非常に重たい（時間のかかる）処理が存在します。 これを非同期分散処理を行う事で、待ち時間を感じさせないよう工夫しました。Movable Typeを使った事がある方は理解出来ると思うのですが、やっている事は本質的に静的構築とあまり変わりません。あらかじめキャッシュを生成するようなイメージです。 実際の処理の流れを、福岡ITベンチャーヌーラボさんのCacooを使って簡単に図にしまし
Qudoで簡単ジョブキュー処理を実施する - JPerl Advent Calendar 2009
Qudoで簡単ジョブキュー処理を実施する - JPerl Advent Calendar 2009 Perl に関するちょっとした Tips をのっけてみるよ。ちゃんと続くかな？ 本題 Qudoは既存のジョブキューシステムを使ってみて思ったいくつかの要望を 実現する目的で作成しました。ポイントは拡張性と使いやすさです。 まずは、簡単な例から初めてみましょう。 Advent Calendarということで、クリスマスにプレゼントを願う子供と それを届けるサンタクロースを再現してみたいと思います。 QudoはデータストアにRDBMSを用いています。 そのため、使用する際にはあらかじめDBを作成する必要があります。 現在MySQL,SQLite,PostgreSQL（多分）に対応しています。 各DB用のスキーマファイルは「http://github.com/nekokak/qudo/tree/ma
ZeroMQ
Why ZeroMQ? ZeroMQ (also known as ØMQ, 0MQ, or zmq) looks like an embeddable networking library but acts like a concurrency framework. It gives you sockets that carry atomic messages across various transports like in-process, inter-process, TCP, and multicast. You can connect sockets N-to-N with patterns like fan-out, pub-sub, task distribution, and request-reply. It's fast enough to be the fabric
Yokohama.pm #4に行ってきた
2009/04/18 02:43 ※ 商品のリンクをクリックして何かを購入すると私に少額の報酬が入ることがあります【広告表示】 Perlは全然上達しませんが、再びYokohama.pmへいって参りました。ネタ的にPerlを深く理解していなくても役に立つものばかりで非常に有意義でした。 以下、iPhoneでがんばってとったメモ。あくまでiPhoneでとったメモなので、そこんとこよろよろ。 Qudo & Skinny nekokakさん が自身で開発されている Qudo と Skinny の紹介 Skinny : スキニー。モデルを書くためのもの。ルールベースでコールバックをかける。名前固定や正規表現でに対してフックできる。 Qudo : クドー。TheSchwartzに変わるもの。TheSchwartzのコマンドをタイポしてやだから始めた。 キューをドゥーするものってことでQudo。TheS
PGCon2008: PgQ - generic high-performance queue for PostgreSQL
Queues in database are rarely used, because thus far is has been impossible to implement both robust and high-performance queue in general-purpose RDBMS. In PgQ we managed to solve this by generalizing snapshot-based event tracking first introduced with rserv, now used in Slony-I. This presentation will describe the implementation and also real-life use cases. how to implement queue with generic S
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RabbitMQ, monadically
GitHub - tsee/ZeroMQ-Perl: Perl interface to 0MQ2
lestrrat/ZeroMQ-Perl - GitHub
Net-AMQP-0.06 - Advanced Message Queue Protocol (de)serialization and representation - metacpan.org
GitHub - ewaters/net-amqp: Implementation of the AMQ Protocol in Perl