タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
SQS には ApproximateAgeOfOldestMessage という、queue に存在する最も古いメッセージの、queue に入ってからの経過時間に関するメトリクスがあります。例えば queue の処理が遅延していることを検知したい場合、ApproximateNumberOfMessagesVisible よりも良い指標となる場合があります。ただ、このメトリクスの定義の詳細についてはドキュメントに載っておらず、ドキュメントに書かれている内容も正確さを欠くので実験を通して現在の挙動についてまとめてみました。 実験結果等を踏まえた ApproximateAgeOfOldestMessage の定義 結論から述べると、次のような定義と言えます。 メトリクスの対象メッセージは queue に存在するすべてのメッセージであり、invisible なものも含む メトリクスの値は queu
こんにちは、もこ@札幌オフィスです。 当エントリは弊社コンサルティング部による『AWS 再入門ブログリレー 2020』の 5日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとっても AWSサービスの再発見や2020 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。5日目のテーマはAmazon SQSです。 Amazon SQSとは？ Amazon SQSとは「Amazon Simple
Amazon SQSを利用してAmazon S3からGoogle BigQueryにデータ投入するBQinというツールを書いた - KAYAC engineers' blog
こんにちは。技術部の池田です。 この記事では、AWSを使っているプロジェクトではありがちなAmazon S3からGoogle BigQueryにデータを投入するためのツールを書いた話をします。 BQin - BigQuery data importer with AWS S3 and SQS messaging. 名前からお察しの方もいらっしゃるとは思いますが、BQinは弊社藤原のRinから着想を得ています。 このツールは一言で表すと、データ投入先がRedshiftからBigQueryに変更されたRinです。 プロダクションに投入し1ヶ月以上になりますが、深刻な問題は発生せず動いております。 開発動機的な話 とあるプロジェクトでAWS S3にデータが投入されるから、GCP BigQueryへデータを転送したいという話がありました。 はじめのうちは、Cloud ComposerやBigQue
Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 | Amazon Web Services
Amazon Web Services ブログ Amazon SNS, Amazon SQS, AWS Lambda のデッドレターキューによる耐久性のあるサーバーレスアプリケーション設計 この投稿は Otavio Ferreira, Sr Manager, SNS の寄稿によるものです 郵便システムにおいて、デッドレターキューは配信不能な郵便物を取り扱うための施設です。pub/sub メッセージングモデルにおけるデッドレターキュー (DLQ: dead-letter-queue) は、トピックに対して発行されたメッセージがサブスクライブしているエンドポイントに配信できなかった場合に、そのメッセージを送ることができるキューを表します。 Amazon SNS による DLQ サポートによって、アプリケーションはメッセージ配信における各種故障モードに対する、さらなる耐久力と回復力を持つことが可
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS での Lambda の使用 Amazon Simple Queue Service (Amazon SQS) キュー内のメッセージを処理するには、Lambda 関数を使用することができます。Lambda イベントソースマッピングは、標準のキューおよびファーストイン、ファーストアウト (FIFO) キューをサポートしています。Amazon SQS を使用すると、タスクをキューに送信して非同期的に処理することで、アプリケーションの 1 つのコンポーネントからタスクを任せることができます。 Lambda はキューをポーリングし、Lambda 関数を、キューメッセージを含むイベントと共に同期的に呼び出します。Lambda はメッセージをバッチで読み取り
[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO
こんにちは。サービスグループの武田です。 AWS LambdaはPythonやJavaScriptで書かれた処理をクラウド上で実行できるAWSのFaaSです。さまざまなサービスと統合されていますが、そのひとつとしてAmazon SQSがあります。イベントソースマッピングという機能を使用することで、SQSへのメッセージ送信をトリガーとしてLambda関数を実行できます。SQSをイベントソースとしたLambda関数のトリガーは、バッチ処理として複数のメッセージをまとめて処理させることができます。さて複数のメッセージをまとめて処理する場合に起こる問題として、一部は成功するが一部は失敗してしまったというものです。 これまでは関数が成功すればすべてのメッセージが成功したとしてキューから削除。関数が失敗すればすべてのメッセージが失敗したとしてキューに残される。のどちらかしかありませんでした。そのため、
![[アップデート] AWS LambdaがAmazon SQSをイベントソースとしたバッチ処理で部分応答をサポートしました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
Amazon SQSのロングポーリング設定でコストを99%削減した話 - Uzabase for Engineers
こんにちは。 NewsPicksエンジニアの美濃部です。 NewsPicksではAWSをインフラ基盤として利用しているのですが、この記事では実際に行ったSQSのコスト削減の話をしたいと思います。 結論から話すとタイトルにもありますが「SQSでメッセージを受信する時にはショートポーリングではなくロングポーリングにした方が大体においてコストが下がります」という内容です。 この話の発端はコスト削減の余地がないかを検討していてSQSのコストが高すぎないかと感じたところから調査が始まりました。SQSはAPIリクエスト数に応じた従量課金なのですがAPIリクエスト数を確認するとやはり多すぎると感じました。（ここはかなり感覚的なところなので何をもって多いと判断したかと言われると困るのですが） NewsPicksでは「SQS＋ワーカープロセス」で非同期処理を行うシステムがいくつかあり、これはよくあるワーカー
New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues | Amazon Web Services
AWS News Blog New – Enhanced Dead-letter Queue Management Experience for Amazon SQS Standard Queues Hundreds of thousands of customers use Amazon Simple Queue Service (Amazon SQS) to build message-based applications to decouple and scale microservices, distributed systems, and serverless apps. When a message cannot be successfully processed by the queue consumer, you can configure Amazon SQS to st
[Amazon SQS] FIFOキューを使用したメール送信（VUIのバックエンドのレスポンスを高速化する） | DevelopersIO
1 はじめに CX事業本部の平内（SIN）です。 Amazon Connectや、Alexaなど(※1)、VUIなシステムで利用されるLambdaでは、UXへの配慮のためか、タイムアウトが厳密に定義されており、どちらも、レスポンスが8秒以上かかると、エラーとして処理されてします。 このような制限の中で、活用されるのが、Amazon SQS(以下、SQS)です。SQSで、処理を階層（非同期）化して簡単にボトルネックを解消できます。また、フルマネージドなサービスであるSQSを挟むことで、耐障害性の向上も同時に図れます。 なお、昨年末より東京リージョンも利用可能になっている、FIFOキューでは、順番や、重複の制御も必要ないので、要件にもよりますが、軽易にキューを扱えると言えます。 今回は、VUIなバックエンドでメールを送ることを想定しFIFOキューで処理する要領を纏めます。 記事の内容は、単純な
Amazon SQSデッドレターキューにメッセージが入ったらSlackに通知するしくみをAWS CDKで構築する | DevelopersIO
こんにちは。サービスグループの武田です。 Amazon SQSやAWS Lambdaなどには、処理が失敗した際にメッセージを退避させるしくみとしてデッドレターキュー（以下、DLQ）というものが用意されています。DLQを用意しておくことで無制限のリトライを防止したり、デバッグに役立てることができます。 とはいえ、肝心のDLQにメッセージが入ったことを検知できなければ何の意味もありません。今回はDLQにメッセージが入った際に、Slackに通知されるしくみをAWS CDKを利用して構築してみました。 なお、ソースコードはGitHubに上がっています。 TAKEDA-Takashi/aws-cdk-sqs-dlq-alert-slack 環境 今回は次のような環境で検証しました。 $ node -v v10.19.0 $ sw_vers ProductName: Mac OS X ProductV
Understanding how AWS Lambda scales with Amazon SQS standard queues | Amazon Web Services
AWS Compute Blog Understanding how AWS Lambda scales with Amazon SQS standard queues Update March 21, 2024: The information explaining Lambda scaling behavior in this article has been superseded by https://aws.amazon.com/blogs/compute/introducing-faster-polling-scale-up-for-aws-lambda-functions-configured-with-amazon-sqs. Update Dec 8, 2021: AWS Lambda now supports partial batch responses for Amaz
AWS X-Ray が Amazon SQS をサポート
AWS X-Ray を使って、Amazon Simple Queue Service (SQS) を通過したメッセージをトレースできるようになりました。AWS X-Ray を使うと、分散アプリケーションやマイクロサービスアーキテクチャにおけるパフォーマンス上の問題やエラーを、簡単にトラブルシューティングできます。 AWS X-Ray のコンソールには、Amazon SQS と、アプリケーションが使用しているその他サービスの間の接続のマップが表示されます。このコンソールを使って、平均レイテンシーや障害率といった指標を表示することも可能です。たとえば、Amazon EC2 Container Service およびオンプレミスのホストで実行している消費者に配布するために、Amazon SQS キューに送信したメッセージをトレースすることが可能です。 Amazon SQS は、完全マネージド型の
Webエンジニアのほんまです。 弊社ではインフラの管理コストを極力減らすため、AWSのマネージドサービスへの利用を推奨しています。（例：RDS -> Aurora) その中の一つに「バックグラウンドジョブに使うキューストアに Amazon SQS を使う」というものがあります。 SQSを使うことで急な負荷増減やデータ消失への対応といった悩ましい問題から解放されます。 Ruby on Rails で Amazon SQSをストアとするバックグラウンドジョブフレームワークだと Shoryuken がよく使われている印象です。 今回、Amazon SQS と Shoryuken でバッググラウンド処理を動かす方法、そして本番運用を見据えて検討が必要な事項を調査したのでシェアしたいと思います。 動かしてみる キューの作成 Railsアプリケーションの作成 ワーカープロセスの起動 エラー処理の確認
【AWS グラレコ解説】アプリケーション同士の疎結合を実現。「Amazon SQS」をグラレコで解説 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は Amazon Web Services, Inc. プリンシパル・テクニカル・エバンジェリスト、ジェリー・ハーグローブが運営しているサイトです。 これまでのグラレコ解説はこちら » 近年、「モノリス」と呼ばれる単一の大きなアプリケーションから、複数のモジュールで構成される「マイクロサービス」あるいは「サーバーレス」と呼ばれるアーキテクチャへ移行するケースが増えてきています。 今回ご紹介する Amazon Simple Queue Service (Amazon SQS) は、マイクロサービス や サーバーレスアーキテクチャ において、アプリケーション間をつなぐ、コーディネーターのような役割を担うサービスです。具体的に
[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた | DevelopersIO
[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた いわさです。 今朝、Amazon SQS に関する次のアナウンスがありました。 「なんだかよくわからないがパフォーマンスが向上するのか？」という感じだったので、少し掘り下げてみてみました。 AWS JSON プロトコルに Amazon SQS の API が対応した（プレビュー） 上記のアナウンスに色々書いてあるのですが、変更点としては SQS を AWS API 経由で呼び出す際に、従来の方法（クエリプロトコル）の他に、AWS JSON プロトコルと呼ばれる形式もサポートとしたよという点があります。 この形式を使うことで HTTP 経由で API を呼び出す際のリクエストとレスポンスの形式がより効率的な形式になり、処理レイテンシーの削減やクライ
![[アップデート] Amazon SQS で AWS JSON プロトコルがプレビューとして利用出来るようになったので何が変わるのかを確認してみた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/8977429ff97da80040f72ef01c062af706039e17/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Famazon-sqs.png)
Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source | Amazon Web Services
AWS Compute Blog Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source This blog post is written by Solutions Architects John Lee and Jeetendra Vaidya. AWS Lambda now provides a way to control the maximum number of concurrent functions invoked by Amazon SQS as an event source. You can use this feature to control the concurrency of Lambda functions process
[アップデート] AWS LambdaのAmazon SQSイベントソースで最大同時実行数を指定できるようになりました | DevelopersIO
こんにちは。サービス部の武田です。今回のアップデートでイベントソースマッピングの設定として同時実行数を指定できるようになりました。 こんにちは。サービス部の武田です。 AWS Lambdaはイベントソースマッピングという機能を利用することで、イベントソースとなるサービスを自動でポーリングしLambda関数をバッチ処理として呼び出せます。 これまでAmazon SQSをイベントソースとして利用する際に、Lambda関数の同時実行数を制限したい場合は「同時実行の予約」で指定していました。しかしこの方法では、制限数を超えたメッセージはキューに返され再試行を待つことになり、適切に設定されていないとすべてのメッセージを正しく処理できませんでした。 今回のアップデートでイベントソースマッピングの設定として同時実行数を指定できるようになりました。これにより、制限数を超えた場合はメッセージの読み取りが停止
![[アップデート] AWS LambdaのAmazon SQSイベントソースで最大同時実行数を指定できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/997cd4044eaabba56d131a3e5fe6d4a970d18cfe/height=288;version=1;width=512/https%3A%2F%2Fd1tlzifd8jdoy4.cloudfront.net%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-lambda.png)
Amazon SQSを使ってAWS Step Functionsで長時間かかる処理が終わるのを待つ | DevelopersIO
Amazon SQSのFIFOキューを使うことで正確にメッセージの処理状態を把握することができます。 このことを活用することで外部APIコールなどの長時間かかる可能性のある処理が終わるのを待ってから次のメッセージの処理に移る実装ができます。 AWS Step Functionsの中に（外部APIの呼び出しなどで）長時間かかることもある処理がある場合に、その処理の結果を待ち、重複を防ぐために処理中は新しい処理のリクエストをしないという仕組みが必要になり、実装してみました。 重複の発生する実装（SQS未使用の実装） 次の手順で1分毎に実行するStep Functionsを定義します。 $ sls create --template aws-python3 --path sample-app $ cd sample-app $ sls plugin install -n serverless-p
Amazon SQS - Qiita
※なお、ストリーミング方式の場合はAmazon kinesisを検討する。 ##■Amazon SQSとは## 処理の間にQueueを噛ませることで、非同期処理にすることができる。 例えば全ての処理を同期処理してしまうと時間がかかってしまうので、Queueだけ登録してレスポンスを返してしまう。 ##■機能## ###1.ショートポーリングとロングポーリング### 通常はロングポーリングを利用する。 ショートポーリング ロングポーリング
Amazon SQS Now Supports a High Throughput Mode for FIFO Queues (Preview)
Amazon SQS now supports a preview of a high throughput mode for FIFO queues, allowing you to process up to 3000 messages per second per API action. This is a tenfold increase compared to current SQS FIFO queue throughput quota. Amazon SQS is a fully managed message queuing service that enables you to decouple and scale microservices, distributed systems, and serverless applications. Amazon SQS off
Amazon SQS と処理の重複 前編 ~ 可視性タイムアウトの役割 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
テクニカルインストラクターの杉本圭太です ! 最近読んで面白かった漫画は「百木田家の古書暮らし」です。 Amazon Simple Queue Service (SQS) を使用することで、アプリケーション同士の通信を非同期にして、さらに信頼性やスケールを高められます。しかし SQS を使用する場合「処理重複が発生する可能性があるため、冪等性 (べき等性) の考慮が必要」と言われますが、どんな場合に処理重複が発生するのかは把握できていますか ? ▼ SQS を使用したシステムの概要 SQS では処理重複を制御するために「可視性タイムアウト」や「FIFO キュー」の機能がありますが、これらを使用しただけで処理重複がゼロになる訳ではありません。そのため、それぞれの機能が何を制御してくれるのかを理解することは、SQS をより適切に扱うために重要です。しかし同時に理解が難しい部分でもあります。 そ
アプリケーションをゆるやかに「つなぐ」Amazon SQSの特徴と魅力｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
Amazon SQSの構築や運用について、NTT東日本のクラウド導入・運用サービスで貴社システムをサポートいたします。クラウド導入・運用サービスの提供機能や料金など詳しく記載したサービス資料をぜひダウンロードください。 Amazon SQSとは Amazon SQS（Simple Queue Service）は、AWSが提供する「サーバーレスでキューイングを実現できる」サービスです。Amazon SQSを理解するためにはまず「キューイング」の概念を知る必要があります。「キューイング」とは日本語にすると「待ち行列」という意味です。人気のお店で行列ができるのと同じで、システム用語では「処理の順番待ち」という意味で使われます。 さて、このキューイングがどういう効果をもたらすかというと、「分散アプリケーション上で非同期に処理が進められる」ようになるのです。通常、システム間での処理連携（メッセージン
新機能 – Amazon SQS 標準キューに拡張されたデッドレターキュー管理エクスペリエンス | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon SQS 標準キューに拡張されたデッドレターキュー管理エクスペリエンス 何十万人ものお客様が Amazon Simple Queue Service (SQS) を使用してメッセージベースのアプリケーションを構築し、マイクロサービス、分散システム、サーバーレスアプリケーションの分離とスケーリングを行っています。キューコンシューマーがメッセージを正常に処理できない場合は、メッセージをデッドレターキュー (DLQ) に保存するように SQS を設定できます。 ソフトウェア開発者やアーキテクトであれば、DLQ 内の消費されなかったメッセージを調べて確認し、処理できなかった理由を解明して、パターンを特定し、コードエラーを解決して、最終的に元のキューでこれらのメッセージを再処理したいと考えるでしょう。これらの消費されなかったメッ
Amazon SQS ショートポーリングとロングポーリング - Amazon Simple Queue Service
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS ショートポーリングとロングポーリング Amazon SQS では、キューからメッセージを受信するためのショートポーリングとロングポーリングを提供します。デフォルトでは、キューはショートポーリングを使用します。 とショートポーリングとすると、ReceiveMessageリクエストは、サーバーのサブセット (加重ランダム分散に基づく) のみを照会し、レスポンスに含めることができるメッセージを検索します。Amazon SQS は、クエリでメッセージが見つからなかった場合でも、すぐにレスポンスを送信します。 とロングポーリングとすると、ReceiveMessagerequest は、すべてのサーバーにメッセージを問い合わせます。Amazon SQS は
New for Amazon SQS – Update the AWS SDK to reduce latency | Amazon Web Services
AWS News Blog New for Amazon SQS – Update the AWS SDK to reduce latency With Amazon SQS, you can send and receive messages between software components at any scale. It was one of the first AWS services I used and as a Solutions Architect, I helped many customers take advantage of asynchronous communications using message queues. In fact, Amazon SQS has been generally available since July 2006 and,
AWS Lambda now supports event filtering for Amazon SQS, Amazon DynamoDB, and Amazon Kinesis as event sources
AWS Lambda now provides content filtering options for SQS, DynamoDB and Kinesis as event sources. With event pattern content filtering, customers can write complex rules so that their Lambda function is only triggered by SQS, DynamoDB, or Kinesis under filtering criteria you specify. This helps reduce traffic to customers’ Lambda functions, simplifies code, and reduces overall cost. Customers can
Amazon SQS デッドレターキューリドライブ用の新しい API セット | Amazon Web Services
Amazon Web Services ブログ Amazon SQS デッドレターキューリドライブ用の新しい API セット 6月8日、 Amazon Simple Queue Service (Amazon SQS) の新しい API セットをリリースいたしました。これらの新しい API により、デッドレターキュー (DLQ) リドライブをプログラムで管理できます。AWS SDK または AWS コマンドラインインターフェイス (AWS CLI) を使用して、メッセージを DLQ から元のキューまたはカスタムキューの宛先へプログラム的に移動し、再処理を試みることができるようになりました。DLQ は、コンシューマーアプリケーションで正しく処理されなかったメッセージを Amazon SQS が自動的に移動するキューです。 この新しい API がどのように役立つかを十分に理解するために、歴史を
AWS Lambda now supports Maximum Concurrency for Amazon SQS as an event source
AWS Lambda now supports setting Maximum Concurrency to the Amazon SQS event source. Maximum Concurrency for SQS as an event source allows customers to control the maximum concurrent invokes by the Amazon SQS event source. When multiple Amazon SQS event sources are configured to a function, customers can control the maximum concurrent invokes of individual SQS event source. Lambda makes it easy to
エムスリー Advent Calendar 2019 5日目の記事です。 やがて君になる、完結しましたね… エンジニアリンググループの山口 (@no_clock) です。 今日は、クラウド電子カルテ「エムスリーデジカル」で、SQSを使ってパフォーマンスとスケーラビリティを得た話です。 前提： 利用施設数の増加と、あまりスケールしないシステム 課題： 診療データクローラ 診療データクローラとは何か クローラの遅延 クローラを続けるか、やめるか 解決： 診療データ『キュー』 結果： パフォーマンスとスケーラビリティ おまけ: We are hiring! 前提： 利用施設数の増加と、あまりスケールしないシステム 2015年10月にスタートした本サービスは、2019年8月に利用施設数1,100件を突破しました。2017年7月時点で120件でしたから、2年で約10倍の増加です。 AWS上で稼働して
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 チュートリアル: Amazon SQS での Lambda の使用 このチュートリアルでは、Amazon Simple Queue Service (Amazon SQS) キューからのメッセージを消費する Lambda 関数を作成します。Lambda 関数は、新しいメッセージがキューに追加されるたびに実行されます。この関数は、メッセージを Amazon CloudWatch Logs ストリームに書き込みます。次の図は、チュートリアルを完了するために使用する AWS リソースを示しています。
Amazon SQS キューへのファンアウト - Amazon Simple Notification Service
Amazon SNS は、Amazon Simple Queue Service (Amazon SQS) と密接に連携します。これらのサービスは、デベロッパーにとって異なる利点を提供します。Amazon SNS を使用すると、アプリケーションは「プッシュ」メカニズムを使用して、複数の受信者にタイムクリティカルなメッセージを送信することができます。そのため、更新を定期的に確認または「ポーリング」する必要がありません。Amazon SQS は、ポーリングモデルを通してメッセージを交換するために分散型アプリケーションによって使用されるメッセージキューサービスであり、このサービスを使用すると、送信および受信コンポーネントを切り離すことができます。この場合、各コンポーネントが同時に使用できなくなることはありません。Amazon SNS と Amazon SQS を組み合わせて使用することで、イベン
Node.js Amazon SQS イベントメッセージを入力として受け取り、それを処理するコードの例を以下に示します。例示のため、このコードでは受信イベントデータの一部を CloudWatch Logs に書き込みます。 exports.handler = async function(event, context) { event.Records.forEach(record => { const { body } = record; console.log(body); }); return {}; } サンプルコードを zip ファイルに圧縮し、デプロイパッケージを作成します。手順については、.zip ファイルアーカイブで Node.js Lambda 関数をデプロイする を参照してください。 Java Amazon SQS イベントメッセージを入力として受け取り、それを処理する
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました | DevelopersIO
[アップデート] Amazon SQS の DLQ（デッドレターキュー）の再処理を AWS SDK/CLI を使って処理出来るようになりました いわさです。 SQS で正常にメッセージが処理されなかった場合に未処理のメッセージを DLQ（デッドレターキュー）に移動することが出来ます。 デッドレターキュー上で処理されなかったメッセージを確認して、アプリケーションの問題の特定に役立てることが出来ます。 従来はその後アプリケーションが復旧したら、マネジメントコンソール上から DLQ の再処理機能を使って元のキュー（あるいは別のキュー）へメッセージを戻して処理を再開することが出来ました。 これまではこの DLQ の再処理はマネジメントコンソールでのみサポートされていましたが、先日のアップデートで AWS SDK や AWS CLI からも操作が出来るようになりました。 DLQ の再処理部分を AW
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 基本的な Amazon SQS アーキテクチャ このセクションでは、分散メッセージングシステムの部分の概要および Amazon SQS メッセージのライフサイクルについて説明します。 分散キュー 分散メッセージングシステムには 3 つの主要部分 (分散システムのコンポーネント、キュー (Amazon SQS サーバーで分散)、およびキューのメッセージ) があります。 次のシナリオでは、システムにはいくつかのものがあります。プロデューサー(キューにメッセージを送信するコンポーネント) および消費者(キューからメッセージを受信するコンポーネント)。キュー (A から E までのメッセージを保持) は、複数の Amazon SQS サーバー全体にまたがって冗長的にメッセー
AWS Step Functions から Amazon SQS キューにあるメッセージの数を取得する方法を教えてください | DevelopersIO
困っていた内容 AWS Step Functions の AWS SDK 統合を利用して、特定の Amazon SQS キューにあるメッセージの数を取得したいです。 GetQueueAttributes API で取得できるようなのですが、GetQueueAttributes API のリファレンスを見ても "QueueUrl" 以外の API パラメータをどのように指定すればよいかわかりませんでした。 どう対応すればいいの? GetQueueAttributes API でキューの属性の値を取得するときは、"QueueUrl" のほかに "AttributeNames" を指定します。 "AttributeNames" には、値を取得したい属性の名前をリスト形式で指定する必要があります。 キューにあるメッセージの数を取得したい場合は、下記のようにパラメータを指定してください。 "Para
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
Amazon SQS の ApproximateAgeOfOldestMessage とは何なのか？
AWS再入門ブログリレー Amazon SQS編 | DevelopersIO
Amazon SQS での Lambda の使用 - AWS Lambda
Amazon SQSとShoryukenを使ったバックグラウンド処理を検討してみる - ユニファ開発者ブログ
Amazon SQSに置き換えてパフォーマンスとスケーラビリティを得た話 - エムスリーテックブログ
チュートリアル: Amazon SQS での Lambda の使用 - AWS Lambda
Amazon SQS 関数コードのサンプル - AWS Lambda
基本的な Amazon SQS アーキテクチャ - Amazon Simple Queue Service
news.yahoo.co.jp
www.freecodecamp.org
leather-no-wabisabi.com
boki-navi.com
diamond-rm.net
gaisyokulunch.blog.jp