Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
【新機能】Amazon SQSにFIFOが追加されました！（重複削除/単一実行/順序取得に対応） | DevelopersIO
SQSの大型アップデートです！ オンプレでエンタープライズな開発を行ったことがある方であれば、分散キューシステムの設計が大変だったと思います。実際のところは高額ライセンス商品を買うしか選択肢はなかったのではと。Amazon SQSの登場によって、今まで実装が大変だったノンコア機能のキューが、超安価に簡単に使えるようになったのは衝撃でした。これだけでクラウドを使う理由になりました。 そして、年月は流れ、この度SQSが進化しました！まずは、今までのSQSの課題についておさらいしたいと思います。 標準キュー 今までのSQSは、メディアエンコーディングや大量タスクの分散処理などに適していましたが、いくつかの用途においてフィットしなかったり、独自実装をする必要がありました。 順番が保証されない SQSは高可用性を持った分散キューシステムですので、1つのエンドポイントに投げられたメッセージは複製され蓄
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
Amazon SQSを利用してS3からRedshiftにデータ投入するRinというツールを書いた - 酒日記 はてな支店
fluentdで集約したログをRedshiftに投入するのに、これまでは fluent-plugin-redshift を使っていたのですが、諸々の理由でこれを置き換えるツールをGoで書きました。 Rin - Redshift data Importer by SQS messaging. プロダクション環境に投入して、2週間ほど快調に動作しているので記事を書いておきます。 アーキテクチャと特徴 S3にデータが保存されたタイミングで、Amazon SNS または SQS にメッセージを飛ばすイベント通知機能がありますので、それを利用しています。 (何者か) S3 にデータを保存する (fluent-plugin-s3, その他どんな手段でも可) (S3) SQS に S3 の path 等が記述されたメッセージを通知する (Rin) SQS のメッセージを受信し、Redshift へ CO
Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 非常に多くのユーザーさんからご要望をいただいていた Amazon SQS のFIFO (First In First Out)機能が東京リージョンでご利用いただける用になりましたのでお知らせいたします。 Amazon SQSの特徴 Amazon SQSは完全マネージド型のメッセージキューイングサービスで、マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングを可能とします。 AWS上でのアプリケーション設計において、非常に重要な役割を果たすサービスである一方、そのコンセプトなどが従来の一般的なWEBサービス（以下の
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep diveAmazon Web Services Japan
![[AWSマイスターシリーズ] Amazon SQS / SNS](https://cdn-ak-scissors.b.st-hatena.com/image/square/9dccdc64723f76681739329042a56c39117c7cb5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140212aws-meister-regenerate-sqs-sns-140216193336-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
最近やっている仕事で先日発表されたS3 Event Notificationsが利用出来そうな感じがしたのでちょっと調査。 S3にファイルがアップされたらAmazon SQSで通知を受け取るようにしてみた。 S3 => SNS => SQS への通知は解説しているサイトが結構あるんですが、S3 => SQS への通知設定の 情報が見当たらなかったので、動くようになるまで、いろいろと試行錯誤を繰り返した。 特にSQSのPermission設定が恐ろしく分かりにくくに2日くらいハマったので、自分用にメモしておく。 S3 Bucketの作成 S3でBucketを作成。既存Bucketを利用する場合はここはSKIP。 今回は検証用にglidenote-sqs-testという名前でBucketを作成 SQSの設定 S3のイベント通知を受け取るQueueを作成する Queue名をsqs-testをして
Amazon SQSの使いどころ 実際編
PDFを作る処理をWeb上でやります。このPDFを作るには、最低でも数分かかる事が解っています。したがって、PDFが出来たら、ユーザーにメールでお知らせする事にします。 ここでは、フロントエンドにRuby on Railsを、バックエンドにJavaを用いています。両者は同一のデータベースを参照出来るようになっています。言い換えると、両者で共有している部分はデータベースだけで、粗な結合になっています。 フロントエンドの役割は、ユーザーと直接対話する事です。ここでは、PDF作成受付画面と、受付完了画面の表示を行います。 動きを解説する前に、少しデータベースに関して書いておきます。データベースは、ごく一般的なRDBを使用し、PDF作成ジョブを表す「Jobs」というテーブルを用意してあります。 このJobsテーブルは、このように定義してあります。 CREATE TABLE jobs ( id SE
キューの長さと連動する Amazon SQSはキューのサービスです。メッセージを送る側と受ける側を疎結合にできるため、たまにスケールするアプリケーションにおいては非常に重要な役割を果たします。今回は、急激にメッセージが増えた時にできるだけ早くチェックして高速にスケールする方法についてご紹介します。 5分から1分へ Amazon SQSでは、規定値として5分に1回Amazon CloudWatchに監視用のデータを送っています。このデータの種類には、キューの長さも含まれていて、標準の状態では最大5分前の状態確認を1分毎に行うことになり、急激なキューへのメッセージ追加に対して、即座に反応ができません。そこで、カスタムメトリクスを使って1分以下のタイミングで監視データを送ることで、今までよりも早くアクションをすることができるようになります。 カスタムメトリクスの登録 SQSのキューの長さを確認す
はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能ですが、 ( 詳しくはこちら ) 例えば、キューにA,B,Cというメッセージが3件だけある状態で、SQS APIから10件メッセージの取得を行った場合に、Aのメッセージのみを10件取得する、というケースも普通にありえるのです。 複数のサーバーにメッセージを保存
GitHub - softwaremill/elasticmq: In-memory message queue with an Amazon SQS-compatible interface. Runs stand-alone or embedded.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon Simple Queue Service マイクロサービス、分散システム、およびサーバーレスアプリケーション用の完全マネージド型メッセージキュー
FIFOのAmazon SQSが2年越しで東京上陸！Exactly-Onceなキューが東京でも利用可能 ｜ DevelopersIO
大栗です。 SQSは1つのメッセージに対して複数回取ってしまう事があるので後続処理は冪等（べきとう）にせよ、と言われていました。それを不要にするためにFIFOのExactly-Onceなキューが発表されましたが、東京で使えず早2年が経とうとしていました。それがやっと東京にFIFOのSQSが東京に上陸しました！ Amazon SQS FIFO Queues Now Available in Asia Pacific (Tokyo) and Asia Pacific (Sydney) Regions Amazon SQS FIFO (First-In-First-Out) Queues Amazon SQS FIFOキュー 今まで使用していた標準キューは高いパフォーマンスを発揮しますが、以下の2点について難点がありました。そのため順序に依存しなかったり複数回実行しても問題がないように冪等な処理
AWS SQSはフルマネージドなジョブキューのサービスです。 利用する際にはいくつか注意点があるので要点をまとめてみました。 1. 順番は保証されない キューに送信した順番で受信されるとは限らない 順番を確保したい時はメッセージ内容にシーケンス番号やタイムスタンプを含めて、自前で実装する必要がある 2. 同じメッセージが複数回配信される場合がある 同じ処理を行いたくない場合は、メッセージを受信した時に、同じメッセージIDの場合は処理をスキップする等の処理が必要 3. メッセージの削除にはReceiptHandleを使う メッセージの受信時に取得できる メッセージの削除・Visibility timeoutの変更に必要 メッセージを受信したエビデンスにもなる ただし、同じメッセージでも複数回受信した場合はReceiptHandleは別になるため注意 4. Visibility timeout
Amazon SQSの使いどころ その2
前回、キューを使って、時間がかかる処理を非同期で処理するフローを書きました。今回は、キューにAmazon SQSを使うと、なぜ嬉しいのか？を書いてみたいと思います。 なんだかバカみたいですが、前回も書いた通り、信頼性のあるキューを作るのは大変な事です。既に実績のあるサービスを、格安（激安）で使えるのですから、利用しない手は無いです。信頼性という意味では、 メッセージを複数のデータセンターにコピーするので、メッセージが消える心配をしなくてよい。 とAmazon側は言っています。これぞまさにクラウドって感じですね。メッセージのやり取りはSSL経由で、さらにユーザー認証がかかっていますので、基本的なセキュリティーは保たれていると思います。 AmazonのAPIは大抵REST/SOAPの二種類が用意されていますが、SQSも例外ではありません。ただ、APIを素のまま利用するケースはまれだと思います。
GitHub - ruby-shoryuken/shoryuken: A super efficient Amazon SQS thread based message processor for Ruby
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazon SQSの使いどころ その1
Amazon Web Serviceには「EC2」とか「S3」などの、いかにもクラウドなサービスの中に、地味だけど非常に便利なSimple Queue Service（以下、SQS）というサービスがあります。これはいったい何？という感じですけど、使いようによっては非常に有用なサービスです。日本語の解説は少ないのですが、この辺にありますね。 Amazon SQSってなんに使うんだろう - ブックマクロ開発に Amazon Web サービスを利用したクラウド・コンピューティング: 第 4 回 SQS による信頼性の高いメッセージング 自分が手がけているWebのサービスでは、このSQSが結構重要な役割を果たしています。その経験を交えて解説してみようかな？という試みです。 キューなんてものはあまりにも基本すぎて、特別な事じゃない感じがします。ですが、たとえプログラミング言語レベルで簡単に出来るとし
Amazon SQS とは Amazon SQS は、AWSが提供する分散キューサービスです。APIを使ってアクセスすることができます。SQSによってアプリケーションのメイン処理と非同期に動いてほしい処理を分離することができます。キューは待ち行列を提供し生産者（Producer）によって生成されたメッセージのバッファリングをし、消費者（Consumer）によってコンポーネントへメッセージデータが渡されます。キューは複数登録することができます。キューに対して複数のリーダーとライターが接続できますので、ひとつのキューに対して複数のアプリケーションから同時に利用することができます。 分散キュー SQSは障害時に正常系へ切り替わるように設計された（フェイルセーフな）仕組みを提供しています。おなじみの分散配置されたAWSインフラの成せる技です。キューの仕組みは自前でも構築は容易ですが、フェイルセーフ
[Rails] Sidekiq の Worker で Amazon SQS のメッセージを処理する | DevelopersIO
Amazon SQS のメッセージを処理する際、Worker を使って行うことが多いかと思います。 Rails で非同期処理を実現する方法の 1 つとして sidekiq という gem がありますが、 今回この sidekiq の Worker を使って SQS のメッセージを処理してみたいと思います。 必要な gem の追加 Rails プロジェクトを作り、Gemfile を編集します。 source 'https://rubygems.org' gem 'rails', '4.1.2' gem 'sidekiq' gem 'aws-sdk-core' gem 'settingslogic' 必要最低限の指定です。 aws-sdk はバージョン 2 系を使ってます。http://aws.amazon.com/jp/sdkforruby/ settingslogic は定数管理の gem
![[Rails] Sidekiq の Worker で Amazon SQS のメッセージを処理する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4ba9673af464883e264d1d320af2d2947fae03d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Frails.jpg)
Amazon SQS Introduces FIFO Queues with Exactly-Once Processing and Lower Prices for Standard Queues
You can now use Amazon Simple Queue Service (SQS) for applications that require messages to be processed in a strict sequence and exactly once using First-in, First-out (FIFO) queues. FIFO queues are designed to ensure that the order in which messages are sent and received is strictly preserved and that each message is processed exactly once. Amazon SQS is a reliable and highly-scalable managed me
Amazon SQS now Supports Amazon VPC Endpoints using AWS PrivateLink - Amazon Web Services
AWS customers can now access Amazon Simple Queue Service (Amazon SQS) from their Amazon Virtual Private Cloud (Amazon VPC) using VPC endpoints, without using public IPs, and without needing to traverse the public internet. VPC endpoints for Amazon SQS are powered by AWS PrivateLink, a highly available, scalable technology that enables you to privately connect your VPC to supported AWS services. Am
よくわからないのでとりあえず、説明読んでみた。 Amazon_SQS Amazon SQS Functionality amazon SQS の機能 Developers can create an unlimited number of queues, each of which can store an unlimited number of messages. サイズ無制限のキューを使うことが出来て、キューにはサイズ無制限でメッセージを格納できる New messages can be added to a queue at any time. The message body can contain up to 256 KB of text in any format. キュー内のメッセージはいつでも追加可能。1メッセージは256kbまで格納可能。形式はテキスト。 A comput
AWS Black Belt Tech Webinar 2015 (旧マイスターシリーズ) Amazon SNS / Amazon SQS
Amazon SQSを効率よく処理するための簡単なサンプルコード（perl / python） - アルパカDiary Pro
Amazon SQSって便利だと思うんですがWeb上の情報って意外と少ないですよね。 実際SQSを使う際に効率よく、かつお金も節約できるような サンプルが欲しかったので書いてみました。 ワーカーで効率よく処理するため２つのポイント この２つを気にするだけでだいぶ違うと思います。 ReceiveMessageで10メッセージずつ処理する Long Pollingを使う ReceiveMessageで10メッセージずつ処理する １リクエストでメッセージを１０個取るようにします*1 Long Pollingを使う ReceiveMessageWaitTimeSecondsを設定するとロングポーリングでデキュー出来ます。 ロングポーリングにしておくとエンキューされたら即次実行されますし キューが溜まっていないときには接続しっぱなしで受信処理を行うため 余計なリクエストを行わなくて済みます。 サンプ
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ - GiXo Ltd.
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ どちらも広義なキュー(queue)。でもキューに期待するものが違う。 こんにちは。技術チームの岩谷です。最近、とあるかたから「Kinesisというキーワードを聞くけど、SQSに似ていませんか？違いは何なのでしょう？」という質問をいただきました。 SQSとKinesis、この両者は共にAWSのクラウドサービスで「広義のキューサービス」という意味では共通点があります。すなわち、 データを投入する データを取り出す、またその際に順序性を制御する仕組みが備わっている 取出したデータは、即座もしくは短寿命で消去される データの「投入→取出」の動作がセットで利用される。 という利用方法は共通しています。これは「データの待ち行列」である「キュー」の概念と一致しています。しかしこの両者の
SQS には ApproximateAgeOfOldestMessage という、queue に存在する最も古いメッセージの、queue に入ってからの経過時間に関するメトリクスがあります。例えば queue の処理が遅延していることを検知したい場合、ApproximateNumberOfMessagesVisible よりも良い指標となる場合があります。ただ、このメトリクスの定義の詳細についてはドキュメントに載っておらず、ドキュメントに書かれている内容も正確さを欠くので実験を通して現在の挙動についてまとめてみました。 実験結果等を踏まえた ApproximateAgeOfOldestMessage の定義 結論から述べると、次のような定義と言えます。 メトリクスの対象メッセージは queue に存在するすべてのメッセージであり、invisible なものも含む メトリクスの値は queu
An Introduction to Fluentd Plugins for Couchdb,Amazon SQS/SNS. at "Fluentd Meetup in Tokyo." http://www.zusaar.com/event/193104 #fluentd
こんにちは。大橋です。 今日はAmazon SQSについてです。 サイトを運営していると、ときどきメッセージキューで非同期に 処理をしたいなという箇所がよくあります。 また、最近、当社ではセールスフォースとAmazon EC2の併用など、異なる クラウド環境を使ったシステムをを扱っており、その連携方法を日々調査しています。 1箇所のサーバ環境だけならば、GearmanやQ4Mなど自前インストール型のキュー 使えばよいかと思うのですが、クラウド環境間の連携などを考えると、 グローバルに利用できるメッセージ伝達方式の方が望ましいケースもあります。 そこで、今回Amazon SQSに触手を伸ばし、入門してみました。 今日は、その記録を残します。 【Amazon SQSを利用開始する】 Amazon Web サービスのアカウントにサインアップし、 Amazon SQSのページで「Amazon SQ
Q: SQS ロングポーリングとは何ですか？ | Amazon Simple Queue Service (Amazon SQS) よくあるご質問 | アマゾン ウェブ サービス（AWS 日本語）
自社製や市販パッケージのメッセージキューイングシステムと比較して、Amazon SQS にはどのようなメリットがありますか? Amazon SQS では、メッセージキューの管理のために独自のソフトウェアを構築したり、市販またはオープンソースのメッセージキューイングシステムを使用してシステムの開発や設定の初期作業に多くの時間を費やしたりする必要がありません。 また、自社製または市販のパッケージ化されたメッセージキューイングシステムでは、定期的なハードウェアのメンテナンスやシステム管理のためのリソースが必要です。ハードウェア障害の発生時にメッセージが失われないよう、冗長性のあるメッセージストレージを設定する必要もあるため、システムの設定や管理はさらに複雑になります。 対照的に、Amazon SQS では、管理オーバーヘッドが発生せず、必要な設定もわずかです。Amazon SQS は、毎日数十億
こんにちは。最近はReact/Reduxでヒーヒー言ってる @unasaka と申します。 Livesense Advent Calendar 2016 その３ 10日目です。 Advent Calendarに初参加で緊張します。 今回は、実際にLivesenseのサービスで設計した内容について紹介したいと思います。 はじめに 私が携わっているサービスは、モノリシックなアプリケーションから、徐々にマイクロサービス化の方法が進んでいます。 責務ごとにシステムを切り分けていくうちに、各システムの依存関係が問題となってきました。 具体的な例で言うと、下図の様に、システムAが会員情報を作成、加工していて、システムBが会員情報を参照するようなシステムに分かれた場合、 システムAはシステムBに会員情報の更新を伝える必要があります。 つまり、システムAはシステムBに通知するためのAPIなどの実装を知って
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQSデッドレターキュー Amazon SQSは、デッドレターキュー(DLQ)をサポートしています。このキューは、正常に処理 (消費) できないメッセージの送信先として、他のキュー (ソースキュー) をターゲットにすることができます。デッドレターキューは、未使用のメッセージを分離して処理が失敗した理由を特定できるため、アプリケーションやメッセージングシステムのデバッグに役立ちます。Amazon SQS コンソールを使用してデッドレターキューを設定する方法については、を参照してください。デッドレターキュー(コンソール)を設定コンシューマーアプリケーションをデバッグするか、コンシューマーアプリケーションがメッセージを処理できるようになったら、デッドレターキ
こんにちは、もこ@札幌オフィスです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2020』の 5日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとっても AWSサービスの再発見や2020 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。5日目のテーマはAmazon SQSです。 Amazon SQSとは？ Amazon SQSとは「Amazon Simple
米Amazon、クラウドの通知サービス「Amazon SNS」を開始 HTTPや電子メール、Amazon SQSも利用可能
米Amazonの子会社でクラウドコンピューティングサービスを提供するAmazon Web Services LLCは7日（現地時間）、非同期メッセージング機能「Amazon Simple Notification Service（Amazon SNS）」を発表した。 米Amazonの子会社でクラウドコンピューティングサービスを提供するAmazon Web Services LLCは7日（現地時間）、非同期メッセージング機能「Amazon Simple Notification Service（Amazon SNS）」を発表した。 Amazon SNSは、パブリッシュ／サブスクライブのモデルでメッセージの送受信をサポートし、情報の発信者と受信者あるいはアプリケーション間を非同期で結びつけてメッセージを送りあうアプリケーションを構築できる。HTTPやメールのほか、Amazon SQS（Amaz
Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察しの方もいらっしゃるとは思いますが、BQinは弊社藤原のRinから着想を得ています。 このツールは一言で表すと、データ投入先がRedshiftからBigQueryに変更されたRinです。 プロダクションに投入し1ヶ月以上になりますが、深刻な問題は発生せず動いております。 開発動機的な話 とあるプロジェクトでAWS S3にデータが投入されるから、GCP BigQueryへデータを転送したいという話がありました。 はじめのうちは、Cloud ComposerやBigQue
Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 | Amazon Web Services
Amazon Web Services ブログ Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 この投稿は Otavio Ferreira, Sr Manager, SNS の寄稿によるものです 郵便システムにおいて、デッドレターキューは配信不能な郵便物を取り扱うための施設です。pub/sub メッセージングモデルにおけるデッドレターキュー (DLQ: dead-letter-queue) は、トピックに対して発行されたメッセージがサブスクライブしているエンドポイントに配信できなかった場合に、そのメッセージを送ることができるキューを表します。 Amazon SNS による DLQ サポートによって、アプリケーションはメッセージ配信における各種故障モードに対する、さらなる耐久力と回復力を持つことが可
Amazon SQSのメッセージの古さをAmazon CloudWatchで監視出来るようになりました | DevelopersIO
メッセージキュー好きの皆様、こんにちは。 2016/08/31からAmazonのメッセージングサービス Simple Queue Service(SQS)において、削除されていない最も古いメッセージの古さを Amazon CloudWatch のメトリクスで監視出来るようになりました。 ApproximateAgeOfOldestMessage の意味 今回の追加された CloudWatch の SQS 向けメトリクス ApproximateAgeOfOldestMessage は、Amazon SQS キューにある削除されていない最も古いメッセージのおおよそ(Approximate)の古さを秒で表したものです。 メトリクス ApproximateAgeOfOldestMessage が 0 に近い場合、キューイングされたメッセージがほぼリアルタイムで処理されていることを意味します。 この
My first app on Heroku was a Rails app, and like the rest of the civilized world, we used Resque to manage the queue. But if you’re working on an Express app, the choice of platform for queueing background work is less clear-cut. We tried Kue backed by redis, but ran into some challenges. Heroku posted an article on using RabbitMQ, but ultimately we decided to use Amazon’s SQS, and so far we’ve be
AWS Black Belt Tech Webinar 2016 (旧マイスターシリーズ) Amazon SQS / Amazon SNS
Amazon SQS (Amazon Simple Queue Service) は、Amazonが提供するジョブキューイング用なメッセージ格納のキューです。 ここでは詳しい説明は、省略します。これ単体で使うというよりは、EC2で処理させて、スケーラブルに処理を捌くというのが用途かと思います。 IBM Developer 日本語版 : 大変申し訳ありません。このページは無効です。 で、これを扱うためのPEARライブラリとして、Services_Amazon_SQSがあります。 http://pear.php.net/package/Services_Amazon_SQS 2010年1月現在、バージョン0.3がベータ版として提供されています。 また、このPEARパッケージは、いわゆるPEARライブラリのほかに、コマンドラインから実行してSQSを操作できるコマンドラインツールが同梱されています
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
[AWSマイスターシリーズ] Amazon SQS / SNS
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
S3 Event NotificasionsをAmazon SQSで受け取る - Glide Note
Amazon SQSとCloudWatchによる高速AutoScaling | DevelopersIO
Amazon SQSを使う前に知っておきたい基本的なこと - Qiita
Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS
Amazon SQSを利用する前に押さえておくべき7つのポイント - Qiita
Amazon SQS による分散キュー | DevelopersIO
Amazon SQSってなんに使うんだろう - それマグで！
AWS Black Belt Techシリーズ Amazon SNS / Amazon SQS
Amazon SQS の ApproximateAgeOfOldestMessage とは何なのか？
Fluentd Plugins for CouchDB, Amazon SQS/SNS
フレクトのクラウドBlog: Amazon SQSに入門してみました
Amazon SQSを使ったPub/Subモデルにより、システム間の依存関係を逆転させる - Qiita
Amazon SQSデッドレターキュー - Amazon Simple Queue Service
AWS再入門ブログリレー Amazon SQS編 | DevelopersIO
Heroku Workers on Amazon SQS with Node
AWS Black Belt Tech シリーズ 2016 - Amazon SQS / Amazon SNS
Services_Amazon_SQSを触ってみた - おぎろぐはてブロ