CloudWatch + SQS でバッチサーバー冗長化のために実装した「sqsjkr」の話 - KAYAC engineers' blog
Lobiの吉村(moulin)です。今回はCloudWatch + SQSのバッチサーバ冗長化のために作成した「sqsjkr」についてご紹介します。また、sqsjkrはGo実装です。 github.com 目次 背景 sqsjkrについて 運用について 背景 バッチサーバーとは、マシンリソースの消費が高い処理を定期的に実行させたい場合、本体アプリケーションに影響が及ばないようにするために建てられるバッチ処理専用のサーバーを指し、Lobiでも様々なバッチ処理を実行するサーバーを建てています。 バッチサーバーはcrontabが設定されているものが1台、バックアップとして同じ構成でcrontabが設定されていないものが1台起動しており、cronを実行するサーバーに障害が発生した場合は、手動でcrontabをバックアップのサーバーに設定することでフェイルオーバーする運用をしていました。 しかし、バ
Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 非常に多くのユーザーさんからご要望をいただいていた Amazon SQS のFIFO (First In First Out)機能が東京リージョンでご利用いただける用になりましたのでお知らせいたします。 Amazon SQSの特徴 Amazon SQSは完全マネージド型のメッセージキューイングサービスで、マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングを可能とします。 AWS上でのアプリケーション設計において、非常に重要な役割を果たすサービスである一方、そのコンセプトなどが従来の一般的なWEBサービス（以下の
Scraping withawsAWSを利用してスクレイピングの悩みを解決するチップス
Running Java Apps with Amazon EC2, AWS Elastic Beanstalk or ServerlessKeisuke Nishitani
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 こんにちは。サービスグループの武田です。開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信がありますので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要
![[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fc8bce7c66555564f1e060e786724d616daf7d8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-session-report.jpg)
20201028 AWS Black Belt Online Seminar Amazon CloudFront deep diveAmazon Web Services Japan
![[AWSマイスターシリーズ] Amazon SQS / SNS](https://cdn-ak-scissors.b.st-hatena.com/image/square/9dccdc64723f76681739329042a56c39117c7cb5/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2F20140212aws-meister-regenerate-sqs-sns-140216193336-phpapp02-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
IBM Developer
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
若手が知らない昔の技術MQ、クラウドではホットだ
「メッセージキューイング（MQ）」というシステム連携方式をご存じだろうか。詳しくは後述するが、クライアント（システムあるいはシステムを構成するサービス）同士が、「キュー」と呼ぶ入れ物を介して、メッセージをやり取りする仕組みだ。 ホスト機の時代から使われてきた実績のある技術で、2000年代前半に注目を集めたサービス指向アーキテクチャー（SOA）では、サービス同士の連携方式として用いられた。企業情報システムの基盤を担当してきたITエンジニアにとって、メッセージキューイングは馴染みのある技術の一つだろう。 ところが2010年ごろからSOAが下火になるとともに、メッセージキューイングは「使っている人しか知らない地味な存在」になっていった。あるアーキテクトは「特に、Web系のシステムから入った若手エンジニアの間で、メッセージキューイングはあまり知られていない」と指摘する。 これは問題だ。Amazon
非同期処理を使いこなそう ! - 第 1 回 非同期処理ってなんだろう ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部クラウドアプリケーションアーキテクトの五十嵐です。 先日、Web で美味しそうな料理の写真を見かけ、自宅で作ってみることにしました。 大きく分けて以下の手順が必要でしたが、みなさまでしたらどのように調理を進めるでしょうか ? 鍋で水を沸騰させる 野菜を切る 野菜を茹でる 調味料で味付けをする 皿に盛り付ける 1. で鍋を火にかけた後、鍋の前で沸騰するのをじっと待ちますか ? 今回は次の手順が沸騰を待たなくてもできる「野菜を切る」のため、沸騰を待たずに 2. で野菜を切り始め、沸騰したことを確認してから 3. で野菜を茹で始めると思います。 このようにして、完成までの時間を短縮化させる工夫をするのではないでしょうか。「他タスク (今回は水の沸騰) の完了を待たなくても良いケース (野菜を切る)」と、「他タスクの完了を待つべきケース (野菜を茹でる)」
20131213 jawsugソフトウェアベンダーがAWSを活用して
急にSaaSをはじめた話
データ分析基盤、どう作る？システム設計のポイント、教えます - Developers.IO 2019 (20191101)Yosuke Katsuki
AWSでジョブWorkerを構成するベストプラクティス 〜 Beanstalk worker tierの巻 | DevelopersIO
よく訓練されたアップル信者、都元です。先日、AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻として、SQSを使ったスケーラブルなジョブWorkerアーキテクチャをご紹介しました。人間相手のHTTPリクエストの間に完了させるには長すぎるジョブを実行したい場合は、とりあえずSQSに投げて非同期に処理させよう、という仕組みです。 投げる側は、Javaであればこんな感じですね。キュー毎にURLがあるのでそれを指定して適当なメッセージ（本来はJSONなんかが良いんだと思います）を投げ込みます。 sqs.sendMessage(new SendMessageRequest(QUEUE_URL, "foobar")); Worker側としては、こんな感じでメッセージを受信しては処理して削除、というのを繰り返せばよいです。 while (true) { ReceiveMessageR
先週のAWS Summit San Fransiscoにて、ついにLambdaがSNSに対応しました。 様々なサービスが発表された中、個人的にはこれが一番のヒットです！というのも、この機能によってAWS間のサービスがより連携しやすくなり、新しいリアクティブなアーキテクチャをどんどん実現できそうだからです。 というわけで、少し試してみました。 お題は去年12月に試したAutoScaling + Lambda。（当時はLambdaはまだこの機能がなかったのでSNS→SQSにてイベントをプロセスする仕組みを作りました。） SNS連携によって前回のこれが こうなります。（Lambdaのアイコンが出たので差し替えてます） うーん、シンプル！ 設定 前回とほぼ同様。 SNS作成
AWS Code
Amazon is an Equal Opportunity Employer: Minority / Women / Disability / Veteran / Gender Identity / Sexual Orientation / Age.
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
大栗です。 先程AWS LambdaでSQSをイベントソースとしてサポートすることが発表されました。このエントリーではSQSからのLambdaの起動方法についてレポートします。 Announcement: AWS Lambda supports Amazon SQS as an event source Lambdaのイベントソース AWS Lambdaは以下のサービスのイベントを元に起動することができます。今回SQSのメッセージをトリガーとしてLambdaを起動することが可能になります。 API Gateway AWS IoT Alexa Skills Kit Alexa Smart Home CloudWatch Events CloudWatch Logs CodeCommit Cognito Sync Trigger DynamoDB Kinesis S3 SNS SQS <- N
よく訓練されたアップル信者、都元です。ここまで「AWSでジョブWorkerを構成するベストプラクティス」と題して2本の記事を書いてまいりました。SQSの巻では、バックグラウンドジョブの実行にはSQSを使ってスケーラビリティを確保しようという、下図中の中段の話をしました。続いてBeanstalk worker tierの巻では、Workerの実装方法として、図中の下段の話をしました。今回は、上段の話です。 ジョブスケジューリング ここまでの話では「ジョブは、ユーザからのWebサーバへのリクエストに伴って発生する」という暗黙の前提で進めてきました。具体的には動画のエンコーディングや、少々時間の掛かる集計処理等をイメージして頂いたと思います。 しかし、ジョブというのは「ユーザのリクエスト」に起因して発生するばかりではありません。ユーザからのリクエストに関わらず「定期的な繰り返し」という、スケジュ
第17回 AWS User Group – Japan 東京勉強会に参加してきた #jawsug | DevelopersIO
第17回 AWS User Group - Japan 東京勉強会(一般枠) : ATND 第17回 AWS User Group - Japan 東京勉強会(女子枠) : ATND 2013/08/02 第17回 AWS User Group - Japan 東京勉強会 #jawsug - Togetter 『今回はGeek向け』と言う位置付けで告知及び開催がされた2013/08/02(金)の『第17回 AWS User Group - Japan 東京勉強会』。講演20分×2本、LT×7本というてんこ盛りなボリュームで行われた勉強会をざっくりレポートして行きたいと思います。 開催場所はフューチャーアーキテクト株式会社＠大崎。こちらの会場に訪れるのは今回が初めてだったのですが、入り口とか超綺麗！会場内部も同様に綺麗で整備されていてUstreamばかりかDJブース(！)も用意されていると言
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
クラウドデザインパターン#5 CDP バッチ処理編 登壇者名・社名 大谷 晋平（アマゾン データサービス ジャパン株式会社）
![[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編](https://cdn-ak-scissors.b.st-hatena.com/image/square/8ddc65b75e738c9839196f444a22a83de3faea9b/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Faws-summit-cdp-05-121001104857-phpapp01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)
[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO
関数の内容については、大栗の記事同様に以下のとおり設定しました。 from __future__ import print_function def lambda_handler(event, context): for record in event['Records']: print ("test") payload=record["body"] print(str(payload)) 次にイベントトリガーを設定します。「トリガーを追加」をクリックします。 トリガーに「SQS」を選択し、事前に作成しておいた FIFO キューを指定します。（記憶がうろ覚えですが、以前はここの選択対象に FIFO キューは表示されなかったと思います）。バッチサイズは 5 で検証してみました。 これで FIFO キューをトリガーとした Lambda 関数がセットできました。次にキューにメッセージを投入して、
![[アップデート] Lambda イベントソースに FIFO キューが指定できるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
渡辺です。 自動化にはロマンがありますが、ロマンを求めすぎると現実に凹みます。 今回はAuto ScalingとAnsibleを混ぜてみました。 Auto Scalingとは？ Auto Scalingは、一言で言えばEC2インスタンスを自動拡張/縮退を実現する機能です。 Auto Scalingを活用する事で耐障害性や耐障害性を高めることができます。 また、処理能力を必要に応じて増加させることもできるのも魅力のひとつです。 Auto Scalingは非常に便利で強力な機能ですが、どんなシステムでも簡単に利用できるとは限りません。 インスタンスが自動的に起動したり破棄されたりするため、インスタンスが有効になるまでの手順が自動化することが必要です。 また、インスタンスは使い捨てできるような状態、すなわちステートレスに設計・構築しなければなりません。 これらの注意点については、AutoScal
S3のイベント通知機能（S3 Event Notifications）に対するユースケースを考える - プログラマでありたい
日本のAWS関係者がre:Inventの発表で盛り上がっているなか、風邪ひいて寝込んでました。季節の変わり目には、気をつけましょう。 さて、そんな感じで全然追いつけていませんが、特に面白いなぁと思ったのが、S3 Event NotificationsとAWS Lambdaです。Lambdaについてはまだ触っていないので何ともいえない部分がありますが、発表内容を見る限りインフラの在り方を変えるような存在かもしれません。そして、S3のEvent Notifications。これ、めちゃくちゃ便利です。S3のイベント（現在は、putとpushとcopy）が発生したら、SNSやSQSに通知を送れるという機能です。何が便利かというと、ファイルのアップロードをトリガーに処理を書けるということです。頭に浮かんだユースケースを1つ書いてみます。 S3 Event Notificationsを使ったクローラ
最近やっている仕事で先日発表されたS3 Event Notificationsが利用出来そうな感じがしたのでちょっと調査。 S3にファイルがアップされたらAmazon SQSで通知を受け取るようにしてみた。 S3 => SNS => SQS への通知は解説しているサイトが結構あるんですが、S3 => SQS への通知設定の 情報が見当たらなかったので、動くようになるまで、いろいろと試行錯誤を繰り返した。 特にSQSのPermission設定が恐ろしく分かりにくくに2日くらいハマったので、自分用にメモしておく。 S3 Bucketの作成 S3でBucketを作成。既存Bucketを利用する場合はここはSKIP。 今回は検証用にglidenote-sqs-testという名前でBucketを作成 SQSの設定 S3のイベント通知を受け取るQueueを作成する Queue名をsqs-testをして
Amazon SQSの使いどころ 実際編
PDFを作る処理をWeb上でやります。このPDFを作るには、最低でも数分かかる事が解っています。したがって、PDFが出来たら、ユーザーにメールでお知らせする事にします。 ここでは、フロントエンドにRuby on Railsを、バックエンドにJavaを用いています。両者は同一のデータベースを参照出来るようになっています。言い換えると、両者で共有している部分はデータベースだけで、粗な結合になっています。 フロントエンドの役割は、ユーザーと直接対話する事です。ここでは、PDF作成受付画面と、受付完了画面の表示を行います。 動きを解説する前に、少しデータベースに関して書いておきます。データベースは、ごく一般的なRDBを使用し、PDF作成ジョブを表す「Jobs」というテーブルを用意してあります。 このJobsテーブルは、このように定義してあります。 CREATE TABLE jobs ( id SE
AWS News Blog
AWS Weekly Roundup – AWS AppSync, AWS CodePipeline, Events and More – August 21, 2023 In a few days, I will board a plane towards the south. My tour around Latin America starts. But I won’t be alone in this adventure, you can find some other News Blog authors, like Jeff or Seb, speaking at AWS Community Days and local events in Peru, Argentina, Chile, and Uruguay. If you see […] New – Amazon EC2 H
Rails 非同期で処理を実行する方法(Sidekiq, Resque, Delayed Job, Active Job比較） - Shred IT!!!!
概要 Rails で WEB 画面からのキックでジョブをバックグラウンドで実行するときどうするか。 例えば、メール送信・画像変換・CSVアップロードによる大量SQL実行など。 そんなときはバックグラウンドで非同期にジョブを実行してくれる便利な gem がある。 ruby-rails.hatenadiary.com このサイトで丁寧に説明してくれてます。 代表的だと言われている下記３つについて、それぞれ実装して使い心地を比較する。 Sidekiq: mperham/sidekiq · GitHub Resque: resque/resque · GitHub Delayed Job: collectiveidea/delayed_job · GitHub それと上記サイトで書かれている Active Job これの使い勝手も試してみる。 それぞれの gem について、もっと詳しく知りたい方は
はじめに Amazon SQS + Amazon Lambdaを利用して実装を行ったのですが、恥ずかしながらSQSの基本的な仕組みをきちんと理解せずに実装をすすめたため、途中でハマったり、当初の設計を変更するハメになりました。 僕と同じような状況に陥る人が今後出ないように、勘違いしていたところや、気をつけるべき点を説明します。 ドキュメントを読む 公式のドキュメントはこちら 全て取得できることを保証しない / 重複取得もありえる 超基本的なこと、その1です。 SQS APIからメッセージを取得する際は、最大で10件まで同時に取得可能ですが、 ( 詳しくはこちら ) 例えば、キューにA,B,Cというメッセージが3件だけある状態で、SQS APIから10件メッセージの取得を行った場合に、Aのメッセージのみを10件取得する、というケースも普通にありえるのです。 複数のサーバーにメッセージを保存
GitHub - softwaremill/elasticmq: In-memory message queue with an Amazon SQS-compatible interface. Runs stand-alone or embedded.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
Amazon Simple Queue Service マイクロサービス、分散システム、およびサーバーレスアプリケーション用の完全マネージド型メッセージキュー
FIFOのAmazon SQSが2年越しで東京上陸！Exactly-Onceなキューが東京でも利用可能 ｜ DevelopersIO
大栗です。 SQSは1つのメッセージに対して複数回取ってしまう事があるので後続処理は冪等（べきとう）にせよ、と言われていました。それを不要にするためにFIFOのExactly-Onceなキューが発表されましたが、東京で使えず早2年が経とうとしていました。それがやっと東京にFIFOのSQSが東京に上陸しました！ Amazon SQS FIFO Queues Now Available in Asia Pacific (Tokyo) and Asia Pacific (Sydney) Regions Amazon SQS FIFO (First-In-First-Out) Queues Amazon SQS FIFOキュー 今まで使用していた標準キューは高いパフォーマンスを発揮しますが、以下の2点について難点がありました。そのため順序に依存しなかったり複数回実行しても問題がないように冪等な処理
はじめに AWS Lambdaで処理時間が掛かることが想定される場合、どのような対応策があるでしょうか？Lambdaを諦める？(これも１つの選択肢だと思います)、一回のデータ処理量を減らして処理時間を短くする、など色々な方法が考えつくと思います。 今回は１つの対応策として、処理時間が掛かる処理を複数に分割して別Lambda関数として動かす事を考えてみました。処理を分割してQueueに登録し、Queue毎に別Lambda関数を起動するサンプルを作成してみたので、それを中心に書きたいと思います。尚、実装言語はPythonとなります。 処理概要 今回の処理概要を図にすると以下のようになります。 Pythonにより実装したLambda関数、SQS、DynamoDBを組み合わせました。一番左の「main.py」がタスクをQueueに分割してSQSに登録します。定期的に動いている「consumer.p
AWS SQSはフルマネージドなジョブキューのサービスです。 利用する際にはいくつか注意点があるので要点をまとめてみました。 1. 順番は保証されない キューに送信した順番で受信されるとは限らない 順番を確保したい時はメッセージ内容にシーケンス番号やタイムスタンプを含めて、自前で実装する必要がある 2. 同じメッセージが複数回配信される場合がある 同じ処理を行いたくない場合は、メッセージを受信した時に、同じメッセージIDの場合は処理をスキップする等の処理が必要 3. メッセージの削除にはReceiptHandleを使う メッセージの受信時に取得できる メッセージの削除・Visibility timeoutの変更に必要 メッセージを受信したエビデンスにもなる ただし、同じメッセージでも複数回受信した場合はReceiptHandleは別になるため注意 4. Visibility timeout
[AWS Black Belt Online Seminar] Amazon Simple Queue Service (SQS) 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Simple Queue Service (SQS) 資料及び QA 公開 先日 (2019/07/17) 開催しました AWS Black Belt Online Seminar「Amazon Simple Queue Service (SQS)」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20190717 AWS Black Belt Online Seminar Amazon Simple Queue Service AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. AWS LambdaでサポートされたAmazon SQSに対するポーリングはどういう方式になりますか？ A. 以前はLa
![[AWS Black Belt Online Seminar] Amazon Simple Queue Service (SQS) 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/c67589a7f8320c6b74cf6ad3ba77198bbe18e51c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F07%2F29%2Fthumb-1135x630.png)
Summary and Overview One of the infrastructure tools that we've identified for the future internal architecture of Second Life is messaging. Message queuing systems allow systems that send messages to not have to worry about how they will be delivered, and allow consumers of messages to gather whichever ones interest them, at their own pace. Ideally we'd have a completely scaleable system that cli
AWS SDK for Ruby 今年の7月にAWS SDK for Rubyがリリースされました。いつもはフルセットで用意されているJavaを使っているのですが、今回はRubyがどの程度簡単に記述できるのか確認するためにサンプルを作りました。また、サンプル作成にあたって、SNSとSQSの連携を試しました。 Amazon LinuxでAWS SDK for Rubyのセットアップ 早速セットアップしましょう。 $ sudo yum install ruby-devel rubygems gcc make libxml2-devel libxslt-devel aws-sdk Amazon SNSをセットアップする 通知先としてAmazon SNSのトピックを作成します。トピックは、受付窓口として対応します。受け付けられたメッセージはサブスクライバ（購読者）に渡されます。サブスクライバには、
Amazon SQSの使いどころ その2
前回、キューを使って、時間がかかる処理を非同期で処理するフローを書きました。今回は、キューにAmazon SQSを使うと、なぜ嬉しいのか？を書いてみたいと思います。 なんだかバカみたいですが、前回も書いた通り、信頼性のあるキューを作るのは大変な事です。既に実績のあるサービスを、格安（激安）で使えるのですから、利用しない手は無いです。信頼性という意味では、 メッセージを複数のデータセンターにコピーするので、メッセージが消える心配をしなくてよい。 とAmazon側は言っています。これぞまさにクラウドって感じですね。メッセージのやり取りはSSL経由で、さらにユーザー認証がかかっていますので、基本的なセキュリティーは保たれていると思います。 AmazonのAPIは大抵REST/SOAPの二種類が用意されていますが、SQSも例外ではありません。ただ、APIを素のまま利用するケースはまれだと思います。
2011/11/15 に開催された「第7回 MongoDB 勉強会」で発表したプレゼンテーションです。
GitHub - ruby-shoryuken/shoryuken: A super efficient Amazon SQS thread based message processor for Ruby
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Yusuke KomaharaCyberAgent, Inc. Software Engineer at CyberAgent.Inc
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[AWSマイスターシリーズ] Amazon SQS / SNS
Auto Scalingによる自動復旧（AWS Lambda+SNS編） - @ijin
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
AWS LambdaがSQSをイベントソースとしてサポートしました！ | DevelopersIO
AWSでジョブWorkerを構成するベストプラクティス 〜 Brianの巻 | DevelopersIO
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
[AWS Summit 2012] クラウドデザインパターン#5 CDP バッチ処理編
AutoScaling時にAnsibleで環境構築を行う | DevelopersIO
S3 Event NotificasionsをAmazon SQSで受け取る - Glide Note
Amazon SQSを使う前に知っておきたい基本的なこと - Qiita
Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS
LambdaとSQSによる非同期分散処理 | DevelopersIO
Amazon SQSを利用する前に押さえておくべき7つのポイント - Qiita
Message Queue Evaluation Notes
Rubyを使ってAmazon SNSとSQSを操作する：fanoutパターン | DevelopersIO
MongoDB: Case Study for AMN
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~