RabbitMQ 3.6の新機能「Lazy Queues」の概要と検証
はじめまして。DMM.comラボでインフラエンジニアをしております大山裕泰です。今回は、世の中にあまたある分散システムを支えるMQの雄の一つ「RabbitMQ」と、昨年12月にリリースされたv3.6.0において組み込まれた新機能「Lazy Queues」について、いったいどういうもので、どのように実装して、どんな結果になるのかをマルッと解説してしまおうと思います。本稿によって、読者の皆さまが携わる分散システムの開発・運用に少しでも役立てばと思います。 RabbitMQについて 今回フォーカスするRabbitMQは、AMQPという柔軟性と信頼性に富んだメッセージ転送を実現するプロトコルの実装になります。AMQPは、2003年にJPMorgan Chaseで開発されたメッセージ転送プロトコルで、柔軟なメッセージルーティングの実現に加え、送信元から送られたメッセージのキューへの格納、およびキュー
RabbitMQ + Paho-Golang-ClientでMQTTを始める - blog::wnotes.net
MQTT始めました リアルタイムWebという言葉をたまに聞きますが、WebSocketから始まり、WebRTCもやったし、次はMQTTやろうと思ったので、環境構築と簡単な動作メモを残します。 MQTTって何？ 他のエントリで詳しく書かれているので、そちらを参照してください。↓のリンクは大体の人が見てると思います。 MQTTについてのまとめ -そこはかとなく書くよん。 以前WebRTCの発表をした時にもワードは観測していたのですが、ここ最近良く聞く用になってきたし、モバイル向けの配信基盤として有用なんじゃないかなって思います。 今回は、MQTTブローカーとしてRabbitMQ、Publish/SubscribeクライアントとしてPahoのgolangクライアントを使いました。 Rabbit MQ Paho PahoはGolang以外にもJavaScriptやPython、C++もあるので、色
『はじめての RabbitMQ』
アメーバ事業本部 API 基盤グループでプログラマをしている @na_ga です。 API 基盤グループでは、弊社の様々なサービスから利用される共通 API の開発・運用を行なっております。今回は、私が担当した API でメッセージキューとして利用した RabbitMQ を紹介させていただきたいと思います。 はじめにAPI 基盤グループで提供している API には、リクエストをリアルタイムに処理する必要がないものもあります。例えばメール配信 API や、投稿内容の有人監視 API などが挙げられます。 これらの非同期処理が可能な API では、大量のリクエストを受け取るためにメッセージキューを使用しています。 メッセージキューを使用した構成では、リクエストを受け取るプログラムが、受け取ったリクエストから生成したメッセージをキューに格納します。キューに格納されたメッセージは、メッセージを処理
かっぱのほげふが | RabbitMQ のクラスタ構成を体感する
はじめに Sensu や Chef Server でも内部的に使われている RabbitMQ に関してフワッとした知識しかないので自分なりに手を動かして実感してみたい。特にクラスタ構成について興味があるので Ruby で簡単なスクリプトでキューの入出をしながら自分なりの知見を深めてみる。 また、幸い同僚に RabbitMQ に詳しいメンツが揃っているのであまり時間も無いが見聞きしたこともメモっていきたい。 参考 AMQP 0-9-1 Model Explained Clustering Guide Highly Available Queues Work Queues The rabbitmq.config File クラスタ構成と HA クラスタ構成と HA についてドキュメントを拾い読みしてみる。英訳等に誤りがあるのでご参考程度に。 RabbitMQ の簡単なイメージ 「百聞は一見に如
Running RabbitMQ on Amazon EC2 | RabbitMQ
Overview This guide assumes familiarity with the general clustering guide as well the guide on cluster peer discovery. Using RabbitMQ on EC2 is quite similar to running it on other platforms. However, there are certain minor aspects to EC2 that need to be accounted for. They primarily have to do with hostnames and their resolution. This guide demonstrates manual (CLI-driven) RabbitMQ clustering.
RabbitMQ 3.1の導入とCluster構成を検証する
RabbitMQ 3.1の導入と冗長化の検証をしたのでメモ。 検証のための構成はフロントのAPサーバー、RabbitMQが動作するキューサーバー、ワーカーそれぞれ二台づつ。キューサーバーが片方死んでも全体が動作し続けられる事、両方がダウンしたとしてもデータは損失しない事が確認できれば良い。要するに単一障害点にならないようにRabbitMQを使いたい。 サーバーの準備 仮想マシン6台はVagrantを使えば一発で用意できる、メモリ16GB積んでてよかった。ホスト名を後でいじるとrabbitmqctlで停止・再起動がうまくいかなくなった。ホスト名周りはEC2で使う時に面倒な事になりそうだ。 各サーバーの /etc/hosts にrabbit1とrabbit2は追加しておく。 RabbitMQ 3.1 のインストール 起動確認 vagrant@rabbit1:~$ sudo rabbitmq-s
RabbitMQ と再送について
概要 : AMQP のプロトコルを読むと、一瞥して送信はパケットを送るだけ、受信はソケットを読み込むだけのようにも見える。しかしながら、実際に書いてみると、再送処理を自前で実装する必要があるため、現実には大変に複雑な処理が必要だ。 そもそもなぜ RabbitMQ を使うのかという話、あるいはなぜ再送が必要かという話たんにコンポーネント同士が疎結合で通信したいのであればわざわざ MQ を使う必然性は皆無である。ごくあたりまえに TCP で通信すればそれでいい。暗号通信が必要なら当然 SSL でいいし、パケットエンティティに依存する複雑な L7 リバースプロキシを MQ を使って実現することも、不可能ではないが、普通そういうのは varnish とかでやるだろう。 MQ において優れているのはデータの durability だ。つまり、一旦キューにためておけば、その両側のコンポーネントは好き勝
バツイチとインケンのエンジニアブログ
以前作った自作PCをずっと動画編集用に使っていたんだけど、机周りを変えたのと、バツイチちゃんが今会社で3DCGをやってるので、それ用のマシンとして渡してしまった。 で、RTX2060をQuadroに変えたいと言うので、じゃあRTX2060とM.2のSSDだけもらって、もうひとつ自作PCを作ろうと思ったのだった。 作るんだったら長尾製作所のmini ITXのオープンフレームの白がいいなーなんて考えていたのだが、結構売り切れで諦めてたところ、たまたま在庫を見つけてポチったのがきっかけ。 CPUは11世代Interlと迷ったけどRyzen使ったことなかったのでRyzen7にした。 他のパーツはお財布と相談して以下な感じ。 [続きをもっと見る…]
Amazon SQS vs. RabbitMQ
Arlen Stalwick Software Developer Hey there, I'm Arlen Stalwick, VP Engineering @ Wavo.me. I write about my projects and whatever it is that I'm trying to teach myself. Amazon SQS vs. RabbitMQ Heads Up: This post is quite old. Friends don't let friends make business decisions based on four-year-old blog posts. We've been using Amazon SQS where I work for awhile. We have a fairly heavy (though, tha
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
涙の自腹課金検証シリーズ第一弾：RabbitMQ クラスタ HA モード 3 パターンを速攻試す