こんにちは、カート決済部カート決済サービスブロックの林です。普段はZOZOTOWN内のカートや決済の機能開発、保守運用、リプレイスを担当しています。 弊社ではカートや決済機能のリプレイスを進めており、これまでにカート投入のキャパシティコントロールや在庫データのクラウドリフトを実現しています。 techblog.zozo.com techblog.zozo.com 本記事では新たにクレジットカード決済処理を非同期化したリプレイス事例を紹介します。 はじめに 背景・課題 非同期化のシステム構成 パターン1 - 完全非同期化パターン パターン2 - 非同期・同期切り替えパターン パターン3 - ポーリングパターン システム構成の決定 メッセージングサービスの選定 効果 今後の展望 まとめ さいごに はじめに 本章では、非同期化前のZOZOTOWNのクレジットカード決済を用いた注文処理の流れを説明
goqite
goqite (pronounced Go-queue-ite) is a persistent message queue Go library built on SQLite and inspired by AWS SQS (but much simpler). $ go get github.com/maragudk/goqite See goqite on Github Don't like queues? Get the Skip function to skip the queue for your messages! Example package main import ( "context" "database/sql" "fmt" "log" "time" _ "github.com/mattn/go-sqlite3" "github.com/maragudk/goqi
Amazon Web Services ブログ サーバーレスマイクロサービスを構築するための設計アプローチの比較 AWS Lambda でワークロードを設計すると、コードレベルでもインフラレベルでも表現できるモジュール性のために、開発者に疑問が生じます。また、コードを実行するためにサーバーレスを使用するには、基盤となる機能コンポーネントからビジネスロジックを抽出するためのさらなる検討が必要です。この意図的な関心の分離により、堅牢なモジュール性が保証され、進化的なアーキテクチャへの道が開かれます。 この投稿は同期ワークロードに焦点を当てていますが、他のワークロードのタイプでも同様の考慮が当てはまります。API の境界を特定し、コンシューマと API について擦り合わせた後、その境界と関連するアーキテクチャを構成します。 Lambda 関数を使用して API を構成する最も一般的な 2 つの方
こんにちは、稲葉です。 最近、Lambda＋SQS 構成での開発で可視性タイムアウトの設定で躓いた箇所があった為、 その共有と対処法について、今回記事にしたいと思います。 躓いた箇所 Lambda＋SQSで構成して、SQSからのメッセージをトリガーにしてLambdaを実行していました。このLambdaは最大4回ループ、また1回の処理でも比較的時間がかかる処理を行います。 実際に動かしてみた所、処理が完了したはずなのに再実行されるといった意図しない動作をしました。そのため、まずはLambdaのログを確認。しかし、ログを確認した所、エラーは発生しておらず正常に動作してました。 となると、問題があるのはSQS の設定だと考え、色々調べた結果。遂に、原因を突き止めました！ ズバリ、可視性タイムアウトの設定が原因でした！ と言うより、可視性タイムアウトは特に設定していなかったため、デフォルトの30秒
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
イラストで理解するSQSの概要 - Qiita
はじめに 概要 前回のイラストで理解するが好評だったので、今回もイラストを使ってSQSの学習記録を記事にします。(本当は絵にして覚えたものにちょっと文字を足しただけ) この記事で得られること SQSがメッセージを配信する仕組みをイラストを交えながら理解できます。 概要を理解できれば公式ドキュメントも読みやすくなるはずです。 用語 まずはSQSに出てくる用語を見てみましょう。 メッセージ SQSが受け取るデータのこと 今回はニュース原稿 キュー メッセージをためておく場所 今回は原稿を入れる箱 コンシューマ メッセージを処理するもの（Lambdaとか） 今回は原稿を読むキャスター プロデューサ メッセージを配信するもの（EC2上のアプリケーション, IoTデバイスなど) 今回は原稿を作るライター 今回は原稿作成からキャスターが原稿を読むまでの流れに例えながら勉強していきたいと思います。 全体
LocalStack と samlocal コマンドで SQS x Lambda 構成をローカル環境で実行する - kakakakakku blog
開発中に AWS Lambda 関数をローカル環境で実行するなら AWS SAM CLI の sam local invoke -e event.json コマンドを使えば良く，また AWS Lambda 関数のベストプラクティスに載っている Lambda ハンドラーをコアロジックから分離します。 を意識して実装すれば，単体テストを軸に動作確認を進めることもできる． とは言え，実際に AWS Lambda 関数のイベントソースマッピング（トリガー設定）を確認したいこともあり，今回は AWS SAM を使って構築する Amazon SQS キューと AWS Lambda 関数の組み合わせを samlocal コマンドを使って LocalStack にデプロイして動作確認をしてみた．結果的に期待した通りに動いた❗️ ＼( 'ω')／ LocalStack 便利すぎ〜 🚀 アーキテクチャ図
AWS でバッチ処理・定期実行する4つの方法
4つのバッチ処理・定期実行方式の詳細情報それぞれのバッチ処理・定期実行方式について詳細を見ていきます。 EC2について使用するAWSサービスEC2 処理概要Linux系OSで用いられる定時実行機能であるcronのコマンドを使用する メリット昔からよく使われているcronの知識が使える デメリットEC2インスタンスを起動しておく必要があり、使っていない時間もコストがかかる 障害に弱い。EC2サーバに障害があると終わる サーバが複数になると管理が大変 SQS×ECS使用するAWSサービスEventBridge SQS ECS 処理概要EventBridgeでキューを生成。ECSコンテナでキューを取得して実行する メリットECSを起動しておくため、コンテナの起動時間を要さない。 デメリットEventBridgeでキューを生成するが、EventBridgeはまれに1 つのイベントに対して複数回トリ
SQSの標準キューとFIFOキューの違いを検証してみた
SQSには「標準キュー」と「FIFOキュー」という２つのタイプが存在します。 それぞれのタイプについて動作の違いを検証してみました。 標準キューとFIFOキューの特徴 まず、標準キューとFIFOキューの違いとしてそれぞれ以下の特徴があります。
SNS、SQS、EventBridgeの違いについて調べてみる
着想の元 この記事を見ているときに「イベント駆動アーキテクチャ」といえば、EventBridgeはどうなんだっけ?と思った
SQS + Lambda という⾮同期処理 ⻩⾦パターン再⼊⾨ #AWSDevDay / SQS-Lambda-DevDay2022
Talked at AWS Dev Day Japan 2022. - 解説動画 : https://www.youtube.com/watch?v=hT7Se0oFEkU - イベントページ: https://aws.amazon.com/jp/events/devday/japan/ - Proposal:https://github.com/aws-events/aws-dev-day-online-japan-2022-cfp/issues/82
非同期処理を使いこなそう ! - 第 3 回 AWS サービスを活用した非同期処理アーキテクチャ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部クラウドアプリケーションアーキテクトの五十嵐です。 「非同期処理を使いこなそう !」シリーズの第 3 回となる今回は、いよいよ物理アーキテクチャ、つまり AWS サービスを利用したアーキテクチャ構成を考えていきます。 これまでの連載記事では、EC サイトを例として 第 1 回 で同期処理と非同期処理の使い分けについてご説明し、第 2 回 で各処理のステップや論理構成についてご説明しました。これをベースとして、第 3 回は非同期処理を実現するための AWS サービスをご紹介し、それらを活用した非同期処理アーキテクチャについてご説明します。 みなさまは AWS を活用したアーキテクチャ (以下「アーキテクチャ」と記載) をご自身で描かれたことはありますでしょうか。もしあまりイメージがわいていなかったり、見たことはあるけどもご自身で描いたことがないという
非同期処理を使いこなそう ! -第 2 回 非同期処理と同期処理の処理構造 - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
皆さんこんにちは。プロフェッショナルサービス本部のデジタルトランスフォーメーションチームでマネージャーをしています堀場です。 さて、いきなりですが、先日、ふと、頭に思い浮かんだ単語があります。それがこちら。 「機能」「情報」「連絡」「手順」「時間」・・・ 25 年以上前に覚えた単語がふと出てきたわけで・・・・この後、何が続くかご存知でしょうか ? 答えは、「論理」「暗号」です。 これは、モジュール強度 (または凝集度) の段階を表すもので「暗号」は凝集度が低く「機能」がもっとも高いと定義されています。なぜ、思い出したのかは謎です。ちなみに、10 年前の資料ですが IPA が提供している IT 人材育成用の汎用コンテンツ の 講義ノート に簡単な解説がありましたので興味がある方は読んでみてください。 凝集度が高いほど、堅牢性、信頼性、再利用性が高く、コードの読みやすさなどの点で好ましく、凝集
非同期処理を使いこなそう ! - 第 1 回 非同期処理ってなんだろう ? - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは、プロフェッショナルサービス本部クラウドアプリケーションアーキテクトの五十嵐です。 先日、Web で美味しそうな料理の写真を見かけ、自宅で作ってみることにしました。 大きく分けて以下の手順が必要でしたが、みなさまでしたらどのように調理を進めるでしょうか ? 鍋で水を沸騰させる 野菜を切る 野菜を茹でる 調味料で味付けをする 皿に盛り付ける 1. で鍋を火にかけた後、鍋の前で沸騰するのをじっと待ちますか ? 今回は次の手順が沸騰を待たなくてもできる「野菜を切る」のため、沸騰を待たずに 2. で野菜を切り始め、沸騰したことを確認してから 3. で野菜を茹で始めると思います。 このようにして、完成までの時間を短縮化させる工夫をするのではないでしょうか。「他タスク (今回は水の沸騰) の完了を待たなくても良いケース (野菜を切る)」と、「他タスクの完了を待つべきケース (野菜を茹でる)」
Amazon Web Services ブログ マルチテナントソリューションでAmazon SQSを使う AWS SaaS Factoryチームのシニアパートナーソリューションアーキテクト Raju Patel によって書かれた記事です。 モダンアプリケーションは、サービス統合、バッチ処理、またはワークフローオーケストレーションの一部として、キューイングに依存することがよくあります。キューは、システムの環境に拡張性と耐障害性を追加するうえ重要です。 これは、キューイング戦略をマルチテナントソリューションのワークロードにどのように適用するかを考える必要がある、Software-as-a-Service（SaaS）環境では特に当てはまります。SaaS アプリケーションのキューイングモデルを設計する際には、データの分離、パフォーマンス、および運用を考慮する必要があります。 多くの組織がアマゾンウ
EventBridge スケジュールに従って実行する Amazon EventBridge ルールの作成 配信先のサービス SQS Amazon SQS での Lambda の使用 Lambda SNS Application-to-Application(A2A)配信先 Kinesis Data Firehose Lambda SQS HTTP/S Application-to-Person(A2P) 配信先 Email / SMS 通知 Mobile Push 通知 AWS Chatbot EventBridge Amazon EventBridge ターゲット Lambda関数 EC2インスタンス Kinesis Data Streams のストリーム Kinesis Data Firehose の配信ストリーム CloudWatch Logs ロググループ ECS タスク Syst
皆さんこんにちは。kubotak（@kubotak_public）です。 この記事ではLaravelをECS Fargateで動かす際のQueueとScheduleに関して、弊社で行った知見を紹介したいと思います。 Laravel on ECSに関しては以下の記事も是非どうぞ M&Aクラウドを丸ごとAmazon Elastic Container Service(ECS)に移行しました！〜コンテナイメージ作り編〜 - M&Aクラウド開発者ブログ AWS CDK v2 の変更点5選 - M&Aクラウド開発者ブログ ※なお、本稿においてはLaravel8系を利用しています。（おそらくLaravel9系でも問題ありません） ECS FargateでQueueを動かす 弊社ではもともとAWS ElasticBeanstalkのWorker環境（以下EB Worker）でQueueおよびSchedu
【図解】コレ１枚でわかるオーケストレーションとコレオグラフィ：ITソリューション塾：オルタナティブ・ブログ
ある業務で一連のサービス（特定の業務を処理するプログラム）を連結させて全体の処理を行う方式に、オーケストレーション（Orchestration）とコレオグラフィ（Choreography）があります。 前者は、指揮者の指示に従って各演奏者が担当する楽器を演奏するように、全体の処理の流れを制御する指揮者にあたるプログラムが存在し、そこからのリクエストによってサービスを実行し、実行結果をレスポンスとして指揮者に返して次の処理に引き継ぐ方式です。これを「リクエスト・リプライ方式」と呼んでいます。 各サービスは、そのサービスを制御する指揮者が受けもっている特定の処理のためだけに利用され、他の指揮者が制御する別の処理を引き受けて実行することはありません。そのため処理が増えれば、指揮者のプログラムもその数必要となり、同時に多くのサービスが駆動されます。 一方、後者は、演劇や踊りで演技者に予め振り付けが
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
Introduction 皆さんご存知のとおり、AWS Lambdaとはサーバーレスでプログラムを実行できる 環境を提供するAWSのサービスです。 実行したい処理を関数として定義すればそのまま実行できますが、 S3/DynamoDB/Kinesis/SNS/SQSなどをトリガーとしてLambdaを起動させることも可能です。 本稿ではSQSをトリガーとしてLambdaを実行させてみます。 (先日この仕組みで確認事項があり、試してみたのでそのアウトプット) SQS + Lambdaの仕組み 仕組みは単純です。 イベントソースマッピングを行い、SQSとLambdaを関連付けるだけです。 Lambdaは自動的にスケールされ、設定により細かく制御可能です。 イベントソースマッピングは、現状標準キューとFIFOキューがサポートされています。 Lambda はキューをポーリングし、キューからメッセージを
![[serverless] AWS LambdaのイベントソースにSQSを使う | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/25fe5c76b0259f67cfbb0286bc1fd48c715f810f/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-lambda.png)
こんにちは！LayerXエンジニアの高際 @shun_tak です！ この記事では、LayerX インボイスの請求書AI-OCRを支える非同期処理の仕組みについて解説したいと思います。 いきなりサマリーですが、今回お伝えしたいのは以下の2点です。 請求書は突然大量にアップロードされるので（大歓迎です！）、Amazon SQSとGoの machinery を活用して非同期処理しているよ！ AI-OCRの処理は重たいけど、AWS Lambdaを活用してシステム全体の負荷を分散し、スケーラビリティと可用性を確保し、コストも抑えることができたよ！ では早速ですが、前回のブログ LayerX インボイスにおける請求書AI-OCRの概要 の復習です。LayerX インボイスの請求書AI-OCRは、以下の図のように複数の処理によって構成されています。 図にするとあっさりしてますが、前処理も後処理も複数の
こんにちは、AI 基盤部の大谷です。 最近は兼務で MLOps 以外にも様々なシステムを構築しています。 弊社では全社的にオンプレミスからクラウドに、よりマネージドに寄せていこうという大きな指針が定められています。 (参考: フルスイングの記事 ) しかし、古くから運用されているサービスなどでは、未だにオンプレミスで構築されているものも少なくありません。 また、クラウドにホストされている場合でも、マネージドサービスを完全に活用しきれていない場合もあり、EC2 ベースの IaaS な構成はまだまだ多く存在しています。 とあるサービスでも、クラウド化はされているものの、マネージドサービスを活用しきれていないメール配信システムが運用されていました。 一般にメール配信システムは、挙動の違う複数のメールプロバイダにスムーズに配信するために多くのことを気にする必要があり、その分管理コストも高くなりがち
背景と目的 マイクロサービス間で非同期メッセージングを実現するために、いくつかメッセージブローカーとしての選択肢があります。例えばAWSのサービスだとSQS, Kinensis, MKSなどが挙げられます。 今回はSQSがサービス間の非同期メッセージングを実現するために利用できるかを調査した時の観点をまとめました。 概要 まず非同期メッセージングの概要を整理します。 非同期メッセージングの役割 ネットワークを介してプロセス間でメッセージを送受信するには、同期的な通信と非同期的な通信があります。 同期的な通信はクライアントがリクエストを発行し、レスポンスを待つという形式になります。 リクエスト先のサービスが対応可能である必要がある レスポンスが返ってくるまでブロッキングされる すぐにリクエストが処理される リクエスト先のサービスの呼び出し方を知る必要がある 非同期的な通信はプロデューサー（あ
処理が複雑でジョブの依存関係を定義したい場合は、AWS Batch 単体で制御するか、より複雑な場合は Step Functions を用いて Lambda、ECS（Fargate）、AWS Batch（Fargate） を組み合わせる。 AWSにおけるバッチ処理の選択肢 ざっくりとした選択肢は下記。 Lambda ECS（Fargate） AWS Batch（Fargate） これらのサービスに実際は SQS や Step Functions を組み合わせることもあるので選択肢はさらに広がる。 ちなみに、SQS + Fargate（常時起動でポーリング） という構成や、SQS + Lambda + Fargate（都度実行） という構成は、AWS Batch が Fargate に対応した現在は特にメリットがないので取り扱わない。 2021/5/2 追記 「常時リクエストがくるユースケー
この記事を見れば、SQSの概要・主要機能を理解して、日々の業務に活かしたり、AWS認定資格の対策になります。 また、SQSを含めたAWSのサービスを、ハンズオン形式で学ぶなら動画で学べるUdemy の講座がぴったりです。 ＼ AWS学習の決定版！30日以内なら返品もOK！ ／
ステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみた | DevelopersIO
はじめに おはようございます、もきゅりんです。 ECSサービスのオートスケーリングしてますか？ ユースケースも少ないかとは思いますが、とにかく爆速でオートスケーリングしたくなることもありますよね？ (春ですし) ということで、本稿はステップスケーリングポリシーを使ってSQSキューの長さでECSサービスタスクを爆速オートスケーリングしてみました。 最初に注意 下記ご注意下さい。 この構成は、高速スケーリングにするために、高解像度のカスタムメトリクスを取得します。高解像度のメトリクス発行およびアラームの課金には注意して下さい。また、とりあえずやってみましたが、本当にこの構成を実装することが真なのかどうか、これで要件が満たせるのかどうか、他に適切な構成がないかどうかなどはよくよく検討する課題があるものだと考えます。 やりたいこと AWS のサービスによって生成されたメトリクスは、デフォルトで標準
Amazon SQSのロングポーリング設定でコストを99%削減した話 - Uzabase for Engineers
こんにちは。 NewsPicksエンジニアの美濃部です。 NewsPicksではAWSをインフラ基盤として利用しているのですが、この記事では実際に行ったSQSのコスト削減の話をしたいと思います。 結論から話すとタイトルにもありますが「SQSでメッセージを受信する時にはショートポーリングではなくロングポーリングにした方が大体においてコストが下がります」という内容です。 この話の発端はコスト削減の余地がないかを検討していてSQSのコストが高すぎないかと感じたところから調査が始まりました。SQSはAPIリクエスト数に応じた従量課金なのですがAPIリクエスト数を確認するとやはり多すぎると感じました。（ここはかなり感覚的なところなので何をもって多いと判断したかと言われると困るのですが） NewsPicksでは「SQS＋ワーカープロセス」で非同期処理を行うシステムがいくつかあり、これはよくあるワーカー
前にまとめたんですけど、やっぱややこしかったのでもうちょっとまとめます 勉強前イメージ SQS ... バッチのキューとか処理で後続の処理を実施できるイメージ SNS ... notificationだから通知が主なイメージ 調査 SQSとは 詳細は こちら SQSは Simple Queue Service の略 キューイングサービス キューは ソフトウェア間を直接データを渡すのではなく、第三者経由でデータを渡すことで、送信側と受信側が好きなときに処理を行う データの取得方法は、 他のサービスがSQSをポーリングして、キューがあれば取得 します SNSとは 詳細は こちら SNSは Simple Notification Service メッセージングサービス プッシュしたメッセージをHTTP,HTTPS,メール,SQS,モバイルプッシュなどに通知出来る データの取得方法は、 SNSがメ
Lessons learned from combining SQS and Lambda in a data project - Solita Data
In June 2018, AWS Lambda added Amazon Simple Queue Service (SQS) to supported event sources, removing a lot of heavy lifting of running a polling service or creating extra SQS to SNS mappings. In a recent project we utilized this functionality and configured our data pipelines to use AWS Lambda functions for processing the incoming data items and SQS queues for buffering them. The built-in functio
【AWS グラレコ解説】クラウド設計・運用のベストプラクティス集「AWS Well-Architectedフレームワーク」をグラレコで解説 - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
※ 本連載では、様々な AWS サービスをグラフィックレコーディングで紹介する awsgeek.com を、日本語に翻訳し、図の解説をしていきます。awsgeek.com は Amazon Web Services, Inc. プリンシパル・テクニカル・エバンジェリスト、ジェリー・ハーグローブが運営しているサイトです。 これまでのグラレコ解説はこちら » AWSクラウドでサービスのアーキテクチャを設計する際、 適切に設計するための指針となる「設計原則」を知りたい 設計後、アーキテクチャが適切に設計されているか、第三者の視点から客観的にチェックしたい (問題点を特定したい) と思われたことはありませんか ? AWS では、こういったご要望にお応えするため、「AWS Well-Architected フレームワーク」というクラウドアーキテクチャ設計のベストプラクティスに関する資料を無料で提供し
今回はSQS＋Lambdaを組み合わせて使う場合に気をつけるべきことについて書きました サーバレスなアーキテクチャを考えた時に、何かと候補に上がる組み合わせだと思います 一部、自分が体験した失敗から学んだこともあるので、反省の復習をしつつ同じ失敗をする人が減ってくれれば良いなと思います なんでSQS＋Lambdaなのか？ そもそもこの組み合わせを選ぶのはなぜか？ということですが サーバレスなアーキテクチャを組みたい Lambdaを使用するにはトリガーとして全段にサービスが必要（SQS、APIGateway・・・など） Lambdaの処理が失敗した場合、再実行したい このような理由からSQS＋Lambdaの組み合わせを選択します 【ケース①】SQSの標準キューはメッセージの配信を1回”以上”保証する SQSの標準キューとはこれです 「少なくとも１回の配信」とあります 複数回同じメッセージが配
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO
[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 こんにちは。サービスグループの武田です。開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 こんにちは。サービスグループの武田です。 開催中のre:Invent 2020でScalable serverless event-driven architectures with SNS, SQS & Lambdaのセッションを視聴しましたのでレポートします。 何度か配信がありますので視聴したい方はスケジュールを確認してみてください。 AWS re:Invent 2020 セッション概要
![[レポート] SNSとSQSとLambdaによるスケーラブルでサーバーレスなイベント駆動アーキテクチャ #reinvent #svs303 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1fc8bce7c66555564f1e060e786724d616daf7d8/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2020%2F11%2Feyecatch_reinvent-2020-session-report.jpg)
このオプションを付けないと、接続できなくてタイムアウトします。 詳細 AWSでLambaをVPCに配置してプライベート接続でSQSを使用する際にめちゃはまったので注意点をメモします。 詳細は以下のサイトが詳しいのでそちらを参照して下さい。私が試した時はLambda上でboto3を使用した際にのみ現象が発生しました。 私の発生条件ではLambdaのboto3はバージョン1.14.48でした。また、EC2を立てて試したバージョンは1.16.8でしたが、こちらでも同様の現象が発生しました。 AWS CLI等でSQS VPC Endpointを利用するときの注意点 -- https://blog.serverworks.co.jp/tech/2019/03/18/sqsvpcendpoint/ Unable Connect do SQS if using a VPC -- https://gith
Amazon SQS は可用性やスケーラビリティの高いメッセジキューサービスであり、AWS の代表的なサービスの 1 つと言えるでしょう。ところが、本番の運用に耐えられるアプリケーションにしようと思うと考えることが意外に多いものです。本エントリーでは簡単なサンプルアプリケーションをベースに、本番で運用するために考慮すべき点・注意点について見ていきます。題材として扱うのが SQS なだけで、SQS 以外を使ったアプリケーションにも応用できる内容もあるでしょう。 なお、SQS には Standard queue と FIFO queue がありますが、Standard queue を使う前提とします。 アジェンダは次のとおりです。 サンプルアプリケーション 1. ログ 2. At-least-once delivery と visibility timeout 3. デプロイ 4. 異常系 5
AmazonSQSを使用したLambdaの非同期処理｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.05.20 ｜ Writer：ちばちゃん AmazonSQSを使用したLambdaの非同期処理 AWS Lambdaの一般的な利用方法の中から１つを取り上げ、環境構築からLambda関数の作成および動作確認までの一連の作業手順を詳細に解説しています。 今回はAmazon Simple Queue Service (以下Amazon SQS)を使用した非同期処理を実施する Lambdaの作成手順をAmazon SQSによる非同期処理の構築手順と併せて解説します。 1.Amazon SQS概要 1.1.概要 Amazon SQS(Simple Queue Service)はAWSが提供するメッセージキューシステムです。主に送信側と受信側で非同期に処理したいケースで利用されます。 ユースケースを以下に示します。 Webアプリケーションが処理要求を受け付け、クライアントには要求を受け付け
Node.js Amazon SQS イベントメッセージを入力として受け取り、それを処理するコードの例を以下に示します。例示のため、このコードでは受信イベントデータの一部を CloudWatch Logs に書き込みます。 exports.handler = async function(event, context) { event.Records.forEach(record => { const { body } = record; console.log(body); }); return {}; } サンプルコードを zip ファイルに圧縮し、デプロイパッケージを作成します。手順については、.zip ファイルアーカイブで Node.js Lambda 関数をデプロイする を参照してください。 Java Amazon SQS イベントメッセージを入力として受け取り、それを処理する
[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 先日 (2020/07/28) 開催しました AWS Black Belt Online Seminar「What’s New in Serverless」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200728 AWS Black Belt Online Seminar What’s New in Serverless AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. EventBridge については 「Lambda ⇒ EventBridge ⇒ Lambda」 といった AWS サービス間の連携も可能という認識です。ただし
![[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/7299922f0d7d95a821c165e2c8dd7427a034af16/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F08%2F07%2FThumbnail-1.png)
AWS SQS + Lambda + SES でメール送信システムを作る Web サービスを運営しているとメールを送信したいタイミングが山程あります。 例えば、ユーザーの新規登録時、定期的に送信するメルマガ用途は多岐に渡ります。 メール送信の仕組みをモノリシックにサービスの一部として組み込むとパフォーマンスが低下してしまう恐れがあります。 そこでどのような設計にすれば悩んでいたところ、SQS をすすめられてため調査してみました。 また SES や SNS としった AWS による通知系のサービスと連携されることで完全マネージドな通知サービスとして構築を目指します。 Amazon Simple Queue Service（SQS） 名前の通りキューイングのサービスです。 キューには 2 種類あり、標準キューと FIFO キューが選べます。 2 つの違いは配信の順序です。 標準キューの配信順序
CX事業本部の夏目です。 今回は、SQSとLambdaを使って直列処理を実装する方法について紹介します。 方法 Lambda Functionの予約された同時実行数を 1に制限する Lambda FunctionのトリガーとしてSQSを指定する これだけで簡単にLambdaを直列に動かすことができます。 通常のSQSのキューではキューに入った順序で実行されるとは限りませんが、FIFOキューを使えば先入れ先出しの順序で処理することができます。 また、FIFOキューを使っていてLambda Functionがエラー終了した場合でも、先入れ先出し順序は保たれます。 まとめ S3のファイルを扱うときなど、直列的に処理を行う必要がある場合に使うことができると思います。 今回検証した内容では、同時実行数1でもLambdaでスロットルが発生しない規模のものを想定しています。 実際には1件処理するのにかか
[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 先日 (2020/06/10) 開催しました AWS Black Belt Online Seminar「サーバーレス イベント駆動アーキテクチャ」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200610 AWS Black Belt Online Seminar サーバーレスイベント駆動アーキテクチャ AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. オーダーサービスの例をとると、非同期になったことにより在庫が結果としてなかったなどの応答はどうやってクライアントに通知するべきでしょうか？ A. このような場合に備えて補償トランザクション
![[AWS Black Belt Online Seminar] サーバーレス イベント駆動アーキテクチャ 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/42a8e52abaec9c9a8afbb465faacf28c1b13ec5c/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F06%2F16%2FThumbnail-1-1119x630.png)
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
SQSを用いたクレジットカード決済の非同期化 - ZOZO TECH BLOG
サーバーレスマイクロサービスを構築するための設計アプローチの比較 | Amazon Web Services
Lambda＋SQS 構成での可視性タイムアウトに気を付けよう! | DevelopersIO
マルチテナントソリューションでAmazon SQSを使う | Amazon Web Services
AWSのメッセージングサービス SQS、SNS、EventBridge の主な機能比較 - Qiita
Laravel on ECSで動かすQueueとScheduleワーカー - M&Aクラウド開発者ブログ
[serverless] AWS LambdaのイベントソースにSQSを使う | DevelopersIO
AI-OCRを支える非同期処理アーキテクチャ - LayerX エンジニアブログ
大規模Email配信システムのクラウドジャーニー | BLOG - DeNA Engineering
非同期メッセージングでSQSを使う際に検討したこと
AWSでバッチ処理を実装する際の選択肢とサービス比較
【5分で理解】初心者向けにAWSのSQSを徹底解説 | とあるエンジニアのエソラゴト
AWSのSQSとSNSの違い - Qiita
AWSでよく使うSQS+Lambdaの組み合わせで気をつけるべきこと - Qiita
AWSのVPC Lambdaからエンドポイント経由でSQSにアクセスする際の注意 - Qiita
Amazon SQS を使ったアプリケーションを本番で運用する際に考慮すべき基本的な 5 つのこと
Amazon SQS 関数コードのサンプル - AWS Lambda
AWS SQS + Lambda + SES でメール送信システムを作る - 小さなエンドウ豆
SQSとLambdaで実装する直列処理 | DevelopersIO