こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo.com techblog.zozo.com 本記事では新たにクレジットカード決済処理を非同期化したリプレイス事例を紹介します。 はじめに 背景・課題 非同期化のシステム構成 パターン1 - 完全非同期化パターン パターン2 - 非同期・同期切り替えパターン パターン3 - ポーリングパターン システム構成の決定 メッセージングサービスの選定 効果 今後の展望 まとめ さいごに はじめに 本章では、非同期化前のZOZOTOWNのクレジットカード決済を用いた注文処理の流れを説明
クックパッドの機械学習を支える基盤のつくりかた / Machine Learning ops at Cookpad
AWS Summit Tokyo 2017 w/ https://speakerdeck.com/kanny http://www.awssummit.tokyo/summit/index.html
よく訓練されたアップル信者、都元です。AWSでシステム構築をする場合は、Design for failureという考えに基いて、複数AZにまたがる形の冗長構成を組むのがベストプラクティスです。さらに、このように分散させた各インスタンスには、出来る限りマスターを作らない、つまりSPOFとなるインスタンスを避ける構成であるのが理想です。 という話題については以前AWSにおける可用性の考え方というエントリーでも書きました。 可用性 (availability) と拡張性 (scalability) 本題はジョブWorkerですが、WebサーバやDBサーバの可用性と拡張性を先におさらいしておきましょう。 Webサーバ この考えで構築する最も基本的な構成が、Webシステムにおける ELB + Webサーバ の構成です。この構成マルチAZと呼び、片方のAZが丸ごとダウンしたとしても、サービス自体はダウ
【新機能】Amazon SQSにFIFOが追加されました！（重複削除/単一実行/順序取得に対応） | DevelopersIO
SQSの大型アップデートです！ オンプレでエンタープライズな開発を行ったことがある方であれば、分散キューシステムの設計が大変だったと思います。実際のところは高額ライセンス商品を買うしか選択肢はなかったのではと。Amazon SQSの登場によって、今まで実装が大変だったノンコア機能のキューが、超安価に簡単に使えるようになったのは衝撃でした。これだけでクラウドを使う理由になりました。 そして、年月は流れ、この度SQSが進化しました！まずは、今までのSQSの課題についておさらいしたいと思います。 標準キュー 今までのSQSは、メディアエンコーディングや大量タスクの分散処理などに適していましたが、いくつかの用途においてフィットしなかったり、独自実装をする必要がありました。 順番が保証されない SQSは高可用性を持った分散キューシステムですので、1つのエンドポイントに投げられたメッセージは複製され蓄
AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources | Amazon Web Services
AWS News Blog AWS Lambda Adds Amazon Simple Queue Service to Supported Event Sources We can now use Amazon Simple Queue Service (Amazon SQS) to trigger AWS Lambda functions! This is a stellar update with some key functionality that I’ve personally been looking forward to for more than 4 years. I know our customers are excited to take it for a spin so feel free to skip to the walk through section b
RubyKaigi 2016 http://rubykaigi.org/2016
Amazon SQSでFIFOだからってシステム全体が Exactly-Once になると思ったら大間違いだっていう話 - Smoky God Express
TL; DR Amazon SQS で Exactly-Once なキューを使おうとも冪等な処理を書くべき キューが Exactly-Once であるという性質はシステム全体が Exactly-Once になることを保証できない 結局マルチデータソースへの書き込みの問題が残る Designing Data-Intensive Applications (邦訳: データ指向アプリケーションデザイン） が良書でした 邦訳は未読1ですが原著の内容がいいのできっとだいじょうぶでしょう Designing Data-Intensive Applications: The Big Ideas Behind Reliable, Scalable, and Maintainable Systems 作者: Martin Kleppmann出版社/メーカー: O'Reilly Media発売日: 2017/
【AWS】SQSキューの前には難しいこと考えずにSNSトピックを挟むと良いよ、という話 | DevelopersIO
よく訓練されたアップル信者、都元です。SQSはみなさん使われていますでしょうか。複数のコンポーネント間の疎結合を保ち、バッチ処理等の冗長性・拡張性を確保するために必要不可欠なサービスです。 SQSの活用イメージにつきましては、AWSでジョブWorkerを構成するベストプラクティスのSQSの巻やBeanstalk worker tierの巻をご覧いただくと良いと思います。 さて。SQSを使うぞ、ということになった場合。メッセージを投げる側（＝プロデューサ）と、メッセージを受け取る側（＝コンシューマ）が必要です。どこかから持ってくる（実装済みの既成品を探してくる）か、もしくは自分自身で実装するわけです。 もちろん、プロデューサはSQSのインターフェイス（API）を理解し（依存し）ていなければなりません。要するに、キューにメッセージを投入する方法を知っており、それを使ってメッセージを投げるような
re:Invent 2016 で Step Functions というサービスがローンチされました！ 幾つかのステップに分かれる処理を Lambda で構築するときに、処理のステート管理や処理間のコーディネートを行ってくれるサービスです。 これまでは、このような処理を組もうとすると「本来行いたい処理に関するコード」以外に「状態を管理するコード」を書く必要がありましたが、 Step Functions を用いることで、疎結合なメンテのしやすい Serverless バッチシステムを構築できるようになります。 個人的には今年の re:Invent で一番熱いリリースです！早速触ってみました！ （※2017/12 により具体的なサービスに使った記事を書いてみましたので、よろしければこちらもご覧ください。） AWS Lambda と Step Functions で作るサーバレスなアービトラージ検
Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました | Amazon Web Services ブログ
Amazon Web Services ブログ Amazon SQS のFIFO機能が東京リージョンでもご利用いただけるようになりました みなさん、こんにちは。アマゾン ウェブ サービス、プロダクトマーケティング エバンジェリストの亀田です。 非常に多くのユーザーさんからご要望をいただいていた Amazon SQS のFIFO (First In First Out)機能が東京リージョンでご利用いただける用になりましたのでお知らせいたします。 Amazon SQSの特徴 Amazon SQSは完全マネージド型のメッセージキューイングサービスで、マイクロサービス、分散システム、およびサーバーレスアプリケーションの切り離しとスケーリングを可能とします。 AWS上でのアプリケーション設計において、非常に重要な役割を果たすサービスである一方、そのコンセプトなどが従来の一般的なWEBサービス（以下の
Amazon SQSの使いどころ 実際編
PDFを作る処理をWeb上でやります。このPDFを作るには、最低でも数分かかる事が解っています。したがって、PDFが出来たら、ユーザーにメールでお知らせする事にします。 ここでは、フロントエンドにRuby on Railsを、バックエンドにJavaを用いています。両者は同一のデータベースを参照出来るようになっています。言い換えると、両者で共有している部分はデータベースだけで、粗な結合になっています。 フロントエンドの役割は、ユーザーと直接対話する事です。ここでは、PDF作成受付画面と、受付完了画面の表示を行います。 動きを解説する前に、少しデータベースに関して書いておきます。データベースは、ごく一般的なRDBを使用し、PDF作成ジョブを表す「Jobs」というテーブルを用意してあります。 このJobsテーブルは、このように定義してあります。 CREATE TABLE jobs ( id SE
Lambda + SQS サーバーレスアプリのデプロイ後に発生した Amazon DevOps Guru インサイトに対応してみる | DevelopersIO
Lambda + SQS サーバーレスアプリのデプロイ後に発生した Amazon DevOps Guru インサイトに対応してみる いわさです。 先日見慣れない通知を受信しました。 30 分 ~ 1 時間ごとに 2 ~ 3 通繰り返し受信しています。 { : "InsightId": "AMxSFH12NiEZZsr-jfHFv2kAAAAAAAAAAo9JEljAspyrigPkDSFhyIgEF5aXkZgR", "InsightDescription": "SQS triggered Lambda does not have a Dead Letter Queue", "InsightSeverity": "medium", "StartTime": 1669356000000, "Anomalies": [ { "Id": "AcnYFT7UD35NVOSXRDW6XZX67EOH
Amazon Simple Queue Service マイクロサービス、分散システム、およびサーバーレスアプリケーション用の完全マネージド型メッセージキュー
AWS SQSはフルマネージドなジョブキューのサービスです。 利用する際にはいくつか注意点があるので要点をまとめてみました。 1. 順番は保証されない キューに送信した順番で受信されるとは限らない 順番を確保したい時はメッセージ内容にシーケンス番号やタイムスタンプを含めて、自前で実装する必要がある 2. 同じメッセージが複数回配信される場合がある 同じ処理を行いたくない場合は、メッセージを受信した時に、同じメッセージIDの場合は処理をスキップする等の処理が必要 3. メッセージの削除にはReceiptHandleを使う メッセージの受信時に取得できる メッセージの削除・Visibility timeoutの変更に必要 メッセージを受信したエビデンスにもなる ただし、同じメッセージでも複数回受信した場合はReceiptHandleは別になるため注意 4. Visibility timeout
AWS SDK for Ruby 今年の7月にAWS SDK for Rubyがリリースされました。いつもはフルセットで用意されているJavaを使っているのですが、今回はRubyがどの程度簡単に記述できるのか確認するためにサンプルを作りました。また、サンプル作成にあたって、SNSとSQSの連携を試しました。 Amazon LinuxでAWS SDK for Rubyのセットアップ 早速セットアップしましょう。 $ sudo yum install ruby-devel rubygems gcc make libxml2-devel libxslt-devel aws-sdk Amazon SNSをセットアップする 通知先としてAmazon SNSのトピックを作成します。トピックは、受付窓口として対応します。受け付けられたメッセージはサブスクライバ（購読者）に渡されます。サブスクライバには、
Amazon SQSの使いどころ その2
前回、キューを使って、時間がかかる処理を非同期で処理するフローを書きました。今回は、キューにAmazon SQSを使うと、なぜ嬉しいのか？を書いてみたいと思います。 なんだかバカみたいですが、前回も書いた通り、信頼性のあるキューを作るのは大変な事です。既に実績のあるサービスを、格安（激安）で使えるのですから、利用しない手は無いです。信頼性という意味では、 メッセージを複数のデータセンターにコピーするので、メッセージが消える心配をしなくてよい。 とAmazon側は言っています。これぞまさにクラウドって感じですね。メッセージのやり取りはSSL経由で、さらにユーザー認証がかかっていますので、基本的なセキュリティーは保たれていると思います。 AmazonのAPIは大抵REST/SOAPの二種類が用意されていますが、SQSも例外ではありません。ただ、APIを素のまま利用するケースはまれだと思います。
[Rails] Sidekiq の Worker で Amazon SQS のメッセージを処理する | DevelopersIO
Amazon SQS のメッセージを処理する際、Worker を使って行うことが多いかと思います。 Rails で非同期処理を実現する方法の 1 つとして sidekiq という gem がありますが、 今回この sidekiq の Worker を使って SQS のメッセージを処理してみたいと思います。 必要な gem の追加 Rails プロジェクトを作り、Gemfile を編集します。 source 'https://rubygems.org' gem 'rails', '4.1.2' gem 'sidekiq' gem 'aws-sdk-core' gem 'settingslogic' 必要最低限の指定です。 aws-sdk はバージョン 2 系を使ってます。http://aws.amazon.com/jp/sdkforruby/ settingslogic は定数管理の gem
![[Rails] Sidekiq の Worker で Amazon SQS のメッセージを処理する | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c4ba9673af464883e264d1d320af2d2947fae03d/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2013%2F11%2Frails.jpg)
AWS News Blog
Amazon CloudWatch Internet Weather Map – View and analyze internet health The Internet has a plethora of moving parts: routers, switches, hubs, terrestrial and submarine cables, and connectors on the hardware side, and complex protocol stacks and configurations on the software side. When something goes wrong that slows or disrupts the Internet in a way that affects your customers, you want to be a
AWS+は、EC2をはじめとするAWS(amazon web services)の総合サポートサービスです。2010.03.01 Amazon EC2へのお引越しキャンペーン実施中 2010.03.01 AWS+オープン致しました。 2010.03.01 SimpleDB その２ [iRET_M] 2010.02.26 Amazon SimpleDBに一貫性保証の新オプション [shouhei] 2010.02.26 Amazon VPC with CentOS (quagga) [suz-lab] 2010.02.26 Amazon VPC with CentOS (ipsec-tools) [suz-lab] 2010.02.24 LTフォローアップ(JAWS-UG) [suz-lab] 2010.02.19 SimpleDB その１ [iRET_M] 2010.02.11 AWS請求
RightScale AWS Gems
RightScale provides a platform and consulting services that enable companies to create scalable web solutions running on Amazon Web Services (AWS) that are reliable, easy to manage, and cost less. Try it FREE!RightScale AWS gems documentation RightScale's AWS gems provide robust, fast, and secure Ruby interfaces to Amazon EC2, Amazon S3, Amazon SQS, and Amazon SDB. The gems use Amazon's REST and q
AWS Lambda がサポートするイベントソースに Amazon Simple Queue Service を追加 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda がサポートするイベントソースに Amazon Simple Queue Service を追加 Amazon Simple Queue Service (SQS) を使って AWS Lambda 関数をトリガーできるようになりました。これは私が個人的に 4 年以上前から楽しみにしてきた、重要な機能を提供する特別なアップデートです。皆さん、試用を待ち望んでいることでしょうから、昔話に興味のない方は下記を飛ばしてもらって結構です。 SQS は当社が立ち上げた初めてのサービスで、14 年前の 2004 年、AWS より公開されました。ご参考に、2004 年当時と言えば、商用ハードドライブは最大でも約 60 GB、PHP 5 が現れ、Facebook がちょうど開始したところ、テレビ番組のフレンズはシリーズが終了、Gmail は
Amazon SQSを効率よく処理するための簡単なサンプルコード（perl / python） - アルパカDiary Pro
Amazon SQSって便利だと思うんですがWeb上の情報って意外と少ないですよね。 実際SQSを使う際に効率よく、かつお金も節約できるような サンプルが欲しかったので書いてみました。 ワーカーで効率よく処理するため２つのポイント この２つを気にするだけでだいぶ違うと思います。 ReceiveMessageで10メッセージずつ処理する Long Pollingを使う ReceiveMessageで10メッセージずつ処理する １リクエストでメッセージを１０個取るようにします*1 Long Pollingを使う ReceiveMessageWaitTimeSecondsを設定するとロングポーリングでデキュー出来ます。 ロングポーリングにしておくとエンキューされたら即次実行されますし キューが溜まっていないときには接続しっぱなしで受信処理を行うため 余計なリクエストを行わなくて済みます。 サンプ
An Introduction to Fluentd Plugins for Couchdb,Amazon SQS/SNS. at "Fluentd Meetup in Tokyo." http://www.zusaar.com/event/193104 #fluentdRead less
こんにちは。大橋です。 今日はAmazon SQSについてです。 サイトを運営していると、ときどきメッセージキューで非同期に 処理をしたいなという箇所がよくあります。 また、最近、当社ではセールスフォースとAmazon EC2の併用など、異なる クラウド環境を使ったシステムをを扱っており、その連携方法を日々調査しています。 1箇所のサーバ環境だけならば、GearmanやQ4Mなど自前インストール型のキュー 使えばよいかと思うのですが、クラウド環境間の連携などを考えると、 グローバルに利用できるメッセージ伝達方式の方が望ましいケースもあります。 そこで、今回Amazon SQSに触手を伸ばし、入門してみました。 今日は、その記録を残します。 【Amazon SQSを利用開始する】 Amazon Web サービスのアカウントにサインアップし、 Amazon SQSのページで「Amazon SQ
Q: SQS ロングポーリングとは何ですか？ | Amazon Simple Queue Service (Amazon SQS) よくあるご質問 | アマゾン ウェブ サービス（AWS 日本語）
自社製や市販パッケージのメッセージキューイングシステムと比較して、Amazon SQS にはどのようなメリットがありますか? Amazon SQS では、メッセージキューの管理のために独自のソフトウェアを構築したり、市販またはオープンソースのメッセージキューイングシステムを使用してシステムの開発や設定の初期作業に多くの時間を費やしたりする必要がありません。 また、自社製または市販のパッケージ化されたメッセージキューイングシステムでは、定期的なハードウェアのメンテナンスやシステム管理のためのリソースが必要です。ハードウェア障害の発生時にメッセージが失われないよう、冗長性のあるメッセージストレージを設定する必要もあるため、システムの設定や管理はさらに複雑になります。 対照的に、Amazon SQS では、管理オーバーヘッドが発生せず、必要な設定もわずかです。Amazon SQS は、毎日数十億
Amazon SQS (Amazon Simple Queue Service) は、Amazonが提供するジョブキューイング用なメッセージ格納のキューです。 ここでは詳しい説明は、省略します。これ単体で使うというよりは、EC2で処理させて、スケーラブルに処理を捌くというのが用途かと思います。 IBM Developer 日本語版 : 大変申し訳ありません。このページは無効です。 で、これを扱うためのPEARライブラリとして、Services_Amazon_SQSがあります。 http://pear.php.net/package/Services_Amazon_SQS 2010年1月現在、バージョン0.3がベータ版として提供されています。 また、このPEARパッケージは、いわゆるPEARライブラリのほかに、コマンドラインから実行してSQSを操作できるコマンドラインツールが同梱されています
先入れ先出し (FIFO) キューを使用して厳密なシーケンスで 1 回だけメッセージを処理する必要があるアプリケーションで、Amazon Simple Queue Service (SQS) を使用できるようになりました。FIFO キューは、メッセージが送受信される順序を厳密に保持し、各メッセージが 1 回だけ処理されるように設計されています。 Amazon SQS は、アプリケーションコンポーネントの間で転送されるメッセージを保存するための、信頼性が高く、非常にスケーラブルなマネージド型のメッセージキューサービスです。FIFO キューは、高スループット、ベストエフォート型の順序、および少なくとも 1 回の配信を提供する、既存の Amazon SQS 標準キューを補完します。FIFO キューは基本的に標準キーと同じ機能を備えていますが、順序と 1 回だけの処理のサポートという追加の利点があ
IBM Developer
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
Google Cloud Pub/Subと類似サービスの比較(SNS, SQS) - 続 カッコの付け方
もう1ヶ月以上経過してしまいましたが、まだ情報が少ないみないなので、aws識者として競合との比較も含めて書きます。私は使わないと頭に入らない人間なので、ちょっと触ります。 概要 What is Google Cloud Pub/Sub? - Cloud Pub/Sub — Google Cloud Platform の絵で大体想像がつくと思いますが、文字通り Pub/Subを実現するものです。 最初にPub/Subを見た時、AWS SNSをイメージしましたが、どうやら違うようです(一部重複の部分もある)。 じゃあSQSかとも思いまいたが、どうやらこれとも違うようです(使い方によっては一部重複する)。 Pub/Sub自体の機能については、結構言及されているので、 togetter.com これも参考にしながら、まずはAWSとの比較から書きます。 競合比較 SNSとの違い SNSは原則Push
S3イベント通知機能で、S3へのファイルアップロードをSNS→SQSへ通知する処理をTerraformで作成する機会がありましたので、レポートします。 作成するリソースの概要 もちろんですが、S3、SNS、SQSを作成します。SNSについてはトピックとサブスクリプションが必要です。 各リソース間のアクセス許可が必要です。 S3イベント通知からSNSトピックへイベントを送信するには、SNSトピックのアクセスポリシーでS3がSNSメッセージを発行するのを許可する必要があります。 SNSからSQSへメッセージを渡すのにも、SQSキューのアクセス許可設定にてSNSからのメッセージ送信を許可する必要があります。 コード内容解説 S3 resource aws_s3_bucket main { bucket_prefix = "event-notification" acl = "private" f
はじめに いまやクラウドサービスの代表格とも言えるAmazonですが、EC2やS3をはじめとして、さまざまなサービスを提供しています。数年前に私も少しだけEC2やS3を使用したことがあるのですが、最近はあまりさわっていませんでした。 しかし今回AWSについての調査をきっかけに、各種AWSサービスについて復習＆AWS SDKでの動作確認をしていきたいと思います。 今回はクラウドベースのメッセージングサービス、Amazon SQSです。 今回使用した動作環境は以下のとおりです。 OS : MacOS X 10.7.2 Java : 1.6.0_26 Scala : 2.9.1 final SBT : 0.11.2 なお、AWSへの登録は終わっているものとします。 Amazon SQS アプリケーションの実行で時間のかかる処理非同期で行いたいときにはどのようにするでしょうか。 最近は非同期通信用
Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source | Amazon Web Services
AWS Compute Blog Introducing maximum concurrency of AWS Lambda functions when using Amazon SQS as an event source This blog post is written by Solutions Architects John Lee and Jeetendra Vaidya. AWS Lambda now provides a way to control the maximum number of concurrent functions invoked by Amazon SQS as an event source. You can use this feature to control the concurrency of Lambda functions process
SQS とは？ メッセージキューイングサービスのメリット SQSを導入 -導入背景- CRM からサグーワークスへ自動で情報を登録したい 仕様変更の影響を減らしたい ロジックを分けて疎結合にする タイミングを分けて処理を非同期にする 条件を満たしたい SQSを導入 -利用例- 終わりに こんにちは。サグーワークス開発チームに所属している大津です。 サグーワークス開発で Amazon Simple Queue Service (以下 SQS と呼ぶ)をサービスに導入したので、SQS の紹介と実際に導入した例を紹介したいと思います！ 今回は他のメッセージキューイングサービスなどには触れず、あくまで SQS にテーマをしぼってお話ししていきます。 SQS とは？ SQS は AWS ( Amazon Web Services )が提供しているメッセージキューイングサービスです。 キューへメッセー
AWS News Blog
AWS Week in Review – AWS Documentation Updates, Amazon EventBridge is Faster, and More – May 22, 2023 Here are your AWS updates from the previous 7 days. Last week I was in Turin, Italy for CloudConf, a conference I’ve had the pleasure to participate in for the last 10 years. AWS Hero Anahit Pogosova was also there sharing a few serverless tips in front of a full house. Here’s a picture I […] Amaz
これから始めるAWS SQS！メッセージキューと上手に付き合うワンランク上の実装を解説😎 | Ragate ブログ
こんにちは！ AWS SQS って具体的に何ができるのか、よくわからない方が多いのでは？と思います。 本記事では、メッセージキューを使用したユースケースと、そのプログラミング方法を紹介します。 サービス開発の中で AWS SQS を一切使用しないという選択も可能ですが、ユースケースによっては実装コスト・リスクを大きく軽減できる可能性があります、是非覚えていってください。 想定する読者 AWS サーバーレスで開発を行っているヒトメッセージキューを扱ったことがないヒトAWS SQS の概要から実装方法を知りたいヒト はじめに AWS SQS でできること 非同期での処理実行 例えば、財務システムの開発で帳票を PDF 出力できる機能を考えてみましょう。 PDF 出力には、財務システムの持つ様々な計算ロジックを起動させる必要があり、PDF 出力完了までに10秒以上の時間を要する可能性があるとしま
AWS News Blog
Amazon SageMaker Geospatial Capabilities Now Generally Available with Security Updates and More Use Case Samples At AWS re:Invent 2022, we previewed Amazon SageMaker geospatial capabilities, allowing data scientists and machine learning (ML) engineers to build, train, and deploy ML models using geospatial data. Geospatial ML with Amazon SageMaker supports access to readily available geospatial dat
この記事は自分のブログからの転載です。 AWS最古のサービスSQSを今回は触ってみます。 SQS（Simple Queue Service）とは Amazon Simple Queue Service（Amazon SQS）には、コンピュータ間で送受信されるメッセージを格納するための、信頼性の高いスケーラブルなホストされたキューが用意されています。Amazon SQS を使用することによって、さまざまなタスクを実行するアプリケーションの分散コンポーネント間で、データを簡単に移動させることができます。 キューイングサービスですね。どういう用途に使うかというと、例えば処理を切り離したい時に使う事が出来ます。 DBのデータ更新系の処理だとして、リクエストを受け付けて、その後DBの更新を行うとし、このDB更新に時間が掛かるとします。更新が完了するまでの間レスポンスが帰ってこない状態になってしまうと
今日は、cloudpack の battle programmer Sebastianです。 AWSにはautoscalingと呼ばれる機能があります。 何それって人はgoogle先生にきくと良いよ 簡単に言うとサーバーが勝手に増えたり減ったりしてくれる機能です AutoScalingはAMIのImageからLaunch Configurationに従ってEC2 instanceを立ち上げます 立ち上がったEC2 InstanceはElastic Load Balancing(ELB)の下にぶら下がりservice serverの一つとして動く事で負荷が大きい時に分散して行くわけです 下は、AutoScaleの基本的な流れ Sclae-out時は以下の流れ Amazon CloudWatch、もしくはSchedule-baseでEventのtriggerが発生 instanceが起動(la
Amazon SQSの新機能 Amazon SQSは分散キューイングサービスとして提供されています。先日、AWS Manamegement Consoleに対応したばかりですが、本日、新機能がリリースされました。バッチ処理機能は、同時に１０メッセージまで送信(SendMessageBatch)または削除(DeleteMessageBatch)することができます。Amazon SQSは、リクエスト数に応じて課金されますので、工夫をすれば最大で1/10のコストになります。 遅延キューは、キューにメッセージが追加されてから見えるまでの時間を設定することができます。120と設定すればキューにメッセージを送ってから2分後に見えるようになります。同じく、遅延メッセージは、個別のメッセージを送る際に、遅延秒数を設定することができます。遅延キューと遅延メッセージが両方設定されている場合には、遅延メッセージ
RubyでAWSのSQSを使う - Qiita
Amazon SQS(Amazon Simple Queue Service)はAmazonが提供するキューサービスです。 Amazon Simple Queue Service（SQS）は、高速で、信頼性が高く、スケーラビリティに優れ、十分に管理されたキューサービスです。SQS を利用すると、簡単かつコスト効率良く、クラウドアプリケーションのコンポーネントを切り離すことができます。SQS を使用すれば、どんなボリュームのデータでもあらゆるレベルのスループットで転送できます。転送時にメッセージが失われることも、他のサービスが常に利用可能である必要もありません。 (公式HP) 今回はAサーバで受け取ったデータを非同期にBサーバで処理するといった要件が発生したので簡単な使い方を書いておきます。 他にも一気にきたリクエストをとりあえずSQSに登録しておいて、あとからゆっくり処理させるといった使い
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG
AWSでジョブWorkerを構成するベストプラクティス 〜 SQSの巻 | DevelopersIO
Scalable Job Queue System Built with Docker
AWS Step Functions で作る Serverless バッチシステム - Qiita
Amazon SQS（サーバーレスアプリのためのメッセージキューサービス）| AWS
Amazon SQSを利用する前に押さえておくべき7つのポイント - Qiita
Rubyを使ってAmazon SNSとSQSを操作する：fanoutパターン | DevelopersIO
Amazon EC2の導入設計から運用・保守なら AWS+ へおまかせください
Fluentd Plugins for CouchDB, Amazon SQS/SNS
フレクトのクラウドBlog: Amazon SQSに入門してみました
Services_Amazon_SQSを触ってみた - おぎろぐはてブロ
Amazon SQS が、1 回だけの処理機能を備えた FIFO キューと、標準キューの値下げを発表
S3イベント通知→SNS→SQSをTerraformで作る | DevelopersIO
AWS SDK for Javaを使う#Amazon SQS | DevelopersIO
SQSで処理を非同期化したらストレスフリーになった - WILLGATE TECH BLOG
【AWS】SQSをただただ触ってみただけの話 - Qiita
AutoScaling の Lifecycle Hook の流れ | iret.media
Amazon SQSの新機能：一括送信、遅延キュー/メッセージ | DevelopersIO