（超メモ）Elastic Beanstalk の Worker Tier について（cron っぽいことをやってみる） - ようへいの日々精進XP
tl;dr Elastic Beanstalk の Worker Tier と Worker Tier で Cron っぽいことを試してみたメモ。 参考 AWS Black Belt Tech シリーズ 2015 - AWS Elastic Beanstalk from Amazon Web Services Japan www.slideshare.net Worker Tier について その前に Elastic Beanstalk について 読み方的には「エラスティック・ビーン・ストーク」で「ビーンズ・トーク」では無い（重要） PaaS（アプリケーション以下の環境は AWS がマネジメントしてくれる） 各種言語に対応 ELB と AutoScaling や RDS だって利用可能 Web Tier（今回は触れない） と Worker Tier がある Worker Tier SQS
こんにちは。最近はReact/Reduxでヒーヒー言ってる @unasaka と申します。 Livesense Advent Calendar 2016 その３ 10日目です。 Advent Calendarに初参加で緊張します。 今回は、実際にLivesenseのサービスで設計した内容について紹介したいと思います。 はじめに 私が携わっているサービスは、モノリシックなアプリケーションから、徐々にマイクロサービス化の方法が進んでいます。 責務ごとにシステムを切り分けていくうちに、各システムの依存関係が問題となってきました。 具体的な例で言うと、下図の様に、システムAが会員情報を作成、加工していて、システムBが会員情報を参照するようなシステムに分かれた場合、 システムAはシステムBに会員情報の更新を伝える必要があります。 つまり、システムAはシステムBに通知するためのAPIなどの実装を知って
【レポート】AWS Summit Tokyo 2017：クックパッドの機械学習を支える基盤のつくりかた #AWSSummit | DevelopersIO
2017年05月30日(火)〜2017年06月02日(金)の計4日間に渡り、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで行われている『AWS Summit Tokyo 2017』。 当エントリでは2017年05月31日に行われた『クックパッドの機械学習を支える基盤のつくりかた』に関する内容をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS セッション概要 当セッションの登壇者及び概要は以下の通り。 スピーカー： 星 北斗氏 クックパッド株式会社 インフラストラクチャー部 部長 染谷 悠一郎氏 クックパッド株式会社 研究開発部 セッション概要： クックパッドは、機械学習の応用に積極的に取り組んでおり、機械学習基盤からサービスへの活用までを全て AWS で実現し運用しています。 本セッションでは、クックパッ
Amazon Web Services ブログ Cost allocation tagsについて AWS リソースにタグを付け、タグごとにコストの内訳を確認する機能は、以前から提供されていました。コスト配分の機能は 2012 年に開始され (「お客様の請求のための AWS コスト配分」を参照)、当社はその他のサービスのサポートを安定して追加してきました。最も最近では DynamoDB (「Amazon DynamoDB 用のコスト配分タグの概要」)、Lambda (「AWS Lambda がタグ付けとコスト配分をサポート」)、EBS (「新規 – AWS Snapshots 用のコスト配分」) が追加されました。 本日は、Amazon Simple Queue Service (SQS) 用のタグベースのコスト配分を発表いたします。これにより、キューにタグを割り当て、それを使用して、アプリ
Amazon SES を使ってメールを送ると、普通は送信エラーをその場で検出できません。その場でっていうのは、非同期ではなくって意味です。ここでは SES に Amazon SNS と Amazon SQS を組み合わせて、なるべく送信エラーをその場で検出するコードを紹介します。エラーチェックのためにちょっと時間かかりますが、我慢してください。 処理の概要としてはこんな感じです。 俺コード → 下にある SQS のキューをチェック ↓ メール送信 Amazon SES ↓ 送信エラー等のフィードバック Amazon SNS ↓ フィードバックのキューイング Amazon SQS
管理画面から設定情報を保存しておいて、それをJSONで受け取ってfluentdのexec_filterで使うプログラム用に使っている箇所があります。管理画面のデータを保存するDBを、fluentdの入っているサーバ(以下、workerとします。)からは直接参照せず、管理画面のあるサーバからHTTPでJSON形式のデータをworkerで受け取るようにしています。workerでは定期的に設定情報のJSONを受け取るように設定しています。 しかし、定期的な設定情報の取得では更新からのタイムラグがあります。そこで、管理画面で設定情報が更新されたタイミングで準リアルタイムに設定情報を反映したいと考えました。 サーバに任意のカスタムイベントを送って、それを受け取ったら何かアクションを起こす的なことをしたいけど、Serfを使うまでもないし、かといって例えばfluentdをhttpで叩いてexecにつなげ
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQSデッドレターキュー Amazon SQSは、デッドレターキュー(DLQ)をサポートしています。このキューは、正常に処理 (消費) できないメッセージの送信先として、他のキュー (ソースキュー) をターゲットにすることができます。デッドレターキューは、未使用のメッセージを分離して処理が失敗した理由を特定できるため、アプリケーションやメッセージングシステムのデバッグに役立ちます。Amazon SQS コンソールを使用してデッドレターキューを設定する方法については、を参照してください。デッドレターキュー(コンソール)を設定コンシューマーアプリケーションをデバッグするか、コンシューマーアプリケーションがメッセージを処理できるようになったら、デッドレターキ
Amazon S3 イベント通知機能を使用して、S3 バケットで特定のイベントが発生したときに通知を受け取ることができます。通知を有効にするには、Amazon S3 から発行するイベントを識別する通知設定を追加します。Amazon S3 から通知を送信する宛先も指定されていることを確認してください。この設定は、バケットに関連付けられた通知サブリソースに保存します 詳細については、バケット設定オプション を参照してください。Amazon S3 では、このサブリソースを管理するための API も利用できます。
はじめに AWS初心者ですが、わからないなりに、SQSという物を調べてみました。 特に重複について 先日SQSのアップデートがあったみたいです。 エヴァンジェリスト 堀内さんのブログにはものすごく大事な事が書かれていました。 ”重要な副作用として、ロングポーリングはメッセージのための全てのSQSホストをチェックします(定期的なポーリングがサブセットをチェックします)。ロングポーリングが空のメッセージセットを返すことにより、未処理のメッセージがキューに存在しないことが確認できます。”これは。。。 SQSの重複を緩和できる可能性が出てきました。 ここからは初心者ながら知ったかぶって書くことにします。 SQSの重複発生の理由の想像 そもそもSQSでなぜ重複が起こっていたかというと、 VisivilityTimeoutになる前にreceiveしてしまったからでは無いかと考えられます。 昔マイスター
Lambda＋SQSを使ってDynamoDBの特定のデータを別アカウントのDynamoDBへコピー（移行）させてみる | DevelopersIO
どうも！大阪オフィスの西村祐二です。 開発環境で使っていたデータを本番環境など別環境でも使いたい場面はよくあると思います。 私もあるAWSアカウント上にあるDynamoDBの特定のデータを別のアカウントのDynamoDBへコピーしたい場面に出くわしましたので、Lambda+SQSを使ってDynamoDBの負荷をあげずにコピーする仕組みを作ってみました。 ※今回紹介する方法以外にも色んな方法があります。こんな方法もあるんだな程度で考えてもらえれば幸いです。 構成図 この構成の良さそうな点 個人的に思うこの構成の良さそうな点をあげてみます。 アカウントを跨ぐときの設定がSQSで許可するだけで簡単 ある程度速度調整ができる（今回は負荷をあげないようにゆっくりコピーするようにしているが速くもできる） コスト削減できるかも？ ただ、以下を考慮しないといけないです。 複数回DynamoDBに書き込まれ
最近はもっぱらメール送信はAWS SESを使っているけど、まぁ遅いんですよね。 いや、SESがっていうか、メール送信自体がそもそも処理が重いので遅い。資料請求フォームとかで完了ページに遷移するのに、ブラウザがぐるぐる回り続けるのなんて嫌なのでキューサーバにぶん投げて、非同期にメール送信できるようにしてみる。そんでもって、ポーリングするワーカープロセスを管理するためにSupervisorを利用する。 前提 CentOS 6.x PHP 5.4 Cakephp 2.x AWS PHP SDK 2.x AWS SES & SQS CakePHP SQSプラグイン AWS SQSを簡単に使える素敵なプラグイン。ただ、このcakephp-sqsプラグインPHP5.3以降対応って書いてあるけど最新版ではPHP5.4以降の記法が使われているので注意。 https://github.com/lorenzo
Boto3(AWS SDK for Python)でSQSに送信したメッセージをLambdaでポーリングして受信してみた | DevelopersIO
こんにちは、みかみです。 さくら缶だと中身もおいしく感じる不思議..（近頃スーパードライの消費率上がってます。。 はじめに やりたいこと boto3 で SQS を操作してみたい スケジュールイベントで実行される Lambda関数 をつくってみたい SQS に保持されたメッセージを Lambda でポーリングして受信したい 確認環境（local） Python(3.6.0)インストール済み AWS CLIインストール＆設定済み（AWS CLI のインストールと設定） boto3 を pip install 済み SQSの準備 キューの作成＆メッセージ送信 Boto3(AWS SDK for Python)を使って、SQSにキューを作成＆メッセージを送信します。 Boto3ドキュメント > A Sample Tutorial send_msg.py import boto3 name = '
[Ruby][aws-sdk-core][ElasticMQ]SQSへの接続をローカルでテストする | DevelopersIO
はじめに SQSへ接続するアプリを作成する場合、特にRSpecなどでテストをする際など、ローカルにSQSのダミーを立てて接続したいことがあるかと思います。このような場合の方法として、ダミーのSQSとしてElasticMQを使い、アプリ本体のソースからはAWS上のSQSに接続・RSpecからはローカルのElasticMQに接続するというやり方があります。今回、そのサンプルを作成してみました。 ※SQSへの接続に、aws-sdk-coreを使用しました。後述しますが、一部、aws-sdk-coreへのモンキーパッチを当てた部分があります。この部分に関しては、aws-sdk-coreのバージョンが異なれば必要ないかもしれません(今回のバージョンは"2.0.17")。またaws-sdk-coreはV1のAWS SDK for Rubyとは違うものであることにも注意してください。 事前準備 1.El
![[Ruby][aws-sdk-core][ElasticMQ]SQSへの接続をローカルでテストする | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/cebe39caf8f7a5db5f6715f72a4727e792566695/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F04%2Fruby.png)
AWS Black Belt Tech Webinar 2016 (旧マイスターシリーズ) Amazon SQS / Amazon SNS
大栗です。 先日のAWSアカウントを跨いでSQSのメッセージを送信するパターン集というエントリで、クロスアカウントでSNSとSQSを連携させる事に言及しました。しかし、クロスアカウントの場合は、同一アカウントの場合に比べて設定する項目が多いので手順をまとめてみます。 クロスアカウント連携の概要 やりたいことはAWSアカウントを跨いでSQSのメッセージを送信するパターン集の中の『SQSとSNSを連携する場合』の『送信先を送信元に分ける』となります。 送信元のSNSを配置するアカウントをアカウントA、送信先のSQSを配置するアカウントをアカウントBとして説明します。アカウントIDは、仮にアカウントAは「111111111111」、アカウントBは「222222222222」とします。 クロスアカウントのSNSとSQSを連携する設定の手順概要は、以下のようになります。 クロスアカウントで連携する手
AWS SESの配信結果をAWS SNS経由でAWS SQSに保存した場合のJSON形式について - YoshinoriN's Memento
AWS SESの配信結果をAWS SNS経由でAWS SQSに保存した場合のJSON形式についてThu, 10 Nov 2016 13:22:51 GMTクラウド AWS AWS SES AWS SNS AWS SQS AWS SESで送信したメールの結果（配信・バウンス・苦情）をAWS SNS経由でAWS SQSに保存します。AWS SQSに保存した結果をさらにAPI経由で取り出したかったのですが、種別（配信・バウンス・苦情）によってJSON形式が異なっていたのでパースに手間取りました。それぞれの形式について記載します。 このAWS SES + AWS SNS + AWS SQSのバウンスメールの処理フローについては今回は書かないので下記のフォーラムを見てください。また、いずれどこかでやった記事を書きたいと思います。 Announcement: バウンス(Bounce)と苦情(Compl
Amazon SQS (Amazon Simple Queue Service) は、Amazonが提供するジョブキューイング用なメッセージ格納のキューです。 ここでは詳しい説明は、省略します。これ単体で使うというよりは、EC2で処理させて、スケーラブルに処理を捌くというのが用途かと思います。 IBM Developer 日本語版 : 大変申し訳ありません。このページは無効です。 で、これを扱うためのPEARライブラリとして、Services_Amazon_SQSがあります。 http://pear.php.net/package/Services_Amazon_SQS 2010年1月現在、バージョン0.3がベータ版として提供されています。 また、このPEARパッケージは、いわゆるPEARライブラリのほかに、コマンドラインから実行してSQSを操作できるコマンドラインツールが同梱されています
AWS CLIを利用して、SQSのキューに滞留しているメッセージを取り出してみましょう。 ジョブ処理側の立場で、ジョブの依頼を取得するイメージになります。 前提条件 SQSへの権限 操作するキューに対してRead/Write権限があること。 AWS CLIのバージョン 以下のバージョンで動作確認済 AWS CLI 1.10.6 AWS CLI 1.6.10 0. 事前作業 0.1. リージョンの指定 対象のキューが存在するリージョンを指定します。
![[JAWS-UG CLI] SQS:#3 メッセージの受信 (処理側) - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/3afac5de545e853f5e3ecf2f57ff49459cbbb46d/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCSkFXUy1VRyUyMENMSSU1RCUyMFNRUyUzQSUyMzMlMjAlRTMlODMlQTElRTMlODMlODMlRTMlODIlQkIlRTMlODMlQkMlRTMlODIlQjglRTMlODElQUUlRTUlOEYlOTclRTQlQkYlQTElMjAlMjglRTUlODclQTYlRTclOTAlODYlRTUlODElQjQlMjkmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM4ZWU1M2YwNjk1YjFmMmEyZWI2ODBmNzY4YWQ0Nzg2%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwdGNzaCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9Yjk3MmNiZDIxMzRjYmQ3MDllYzFkN2U0NDNjZGVkODg%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D20b9ab866c6ecb69bc8288c1788d0a22)
背景 Amazon SQS。自分のサービスにメッセージキューサービスをとても簡単に組み込めて便利。 http://aws.amazon.com/jp/sqs/ しかし、いざそれを使った機能のspecを書こうと思うと、「外部サービスだからstub書かなきゃ」という辛みと、「結合テスト的に実際にAPI叩きたいし」という欲求が出てきて、どうしたらいいのよ 、という感じになる。 そりゅーしょん 環境用意すれば良いじゃない！ ElasticMQ https://github.com/adamw/elasticmq こちら、Amazon SQS-compatible interfacesという素晴らしい特徴を持ったメッセージキューシステムです。 これをローカルに立ち上げれば、そもそも普通の開発の時からローカルでキューシステム使った検証できるし、何よりrspecからキューへの登録、取得などのテストもちゃ
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ - GiXo Ltd.
Amazon SQS と Kinesis はどう違うのか？～ユーザが求めるキュー(queue)の姿～｜AWSを使い倒せ どちらも広義なキュー(queue)。でもキューに期待するものが違う。 こんにちは。技術チームの岩谷です。最近、とあるかたから「Kinesisというキーワードを聞くけど、SQSに似ていませんか？違いは何なのでしょう？」という質問をいただきました。 SQSとKinesis、この両者は共にAWSのクラウドサービスで「広義のキューサービス」という意味では共通点があります。すなわち、 データを投入する データを取り出す、またその際に順序性を制御する仕組みが備わっている 取出したデータは、即座もしくは短寿命で消去される データの「投入→取出」の動作がセットで利用される。 という利用方法は共通しています。これは「データの待ち行列」である「キュー」の概念と一致しています。しかしこの両者の
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS での Lambda の使用 Amazon Simple Queue Service (Amazon SQS) キュー内のメッセージを処理するには、Lambda 関数を使用することができます。Lambda イベントソースマッピングは、標準のキューおよびファーストイン、ファーストアウト (FIFO) キューをサポートしています。Amazon SQS を使用すると、タスクをキューに送信して非同期的に処理することで、アプリケーションの 1 つのコンポーネントからタスクを任せることができます。 Lambda はキューをポーリングし、Lambda 関数を、キューメッセージを含むイベントと共に同期的に呼び出します。Lambda はメッセージをバッチで読み取り
インフラ：AWS 開発言語：Node.js v0.8系 フレームワーク：Express 3系 DB：Amazon DynamoDB 検索エンジン：Elasticsearch スケーラビリティの実現のためにAWS、配信スピードの向上のためにDynamoDBとNode.jsを最大限活用した作りとしています。また、実行環境の構築・管理についてはAWS Elastic Beanstalkを使用しています。各詳細は次回以降紹介していきますが、ここでは、機能概要を簡単に触れておきます。 図4【1】クライアントライブラリ 前述した通りプッシュ通知にはデバイストークンが必要になるため、APNs・GCMから取得してPusna-RSへ送信する機能が一律必要となります。そのため、アプリ起動時にこれらの処理を行うモジュールをライブラリ化して、各アプリに提供しています。 また、後述する条件を指定しての配信を行うため
【レポート】AWS Summit Tokyo 2017：Sansan がメッセージング (Amazon SQS) でスケーラビリティを手に入れた話: using C# on Windows #AWSSummit | DevelopersIO
スピーカー： 神原 淳史 Sansan株式会社 Sansan事業部 開発部 部長 セッション概要： Sansan では、ビジネスの成長に伴うサービス規模の拡大により、可用性やパフォーマンスに関する課題を抱えていました。本セッションでは、メッセージング (Amazon SQSを採用) の導入によってどのようにしてそれらの課題を解決したか、実例をベースにご紹介します。メッセージング自体は新しい技術ではありませんが、スケーラビリティの課題解決のために非常に有効な手段の 1 つです。全てのソフトウェアアーキテクト、開発者にお送りします。 セッションレポート Sansanのサービスについて 名刺のデータ化サービスはSansan社内の別組織が開発、運営している Sansanからデータ化サービス側にjpegを投げるとtxtが返ってくる 法人向けのサービスでは名刺データを一元化して組織内で共有できる。いわ
前回、Amazon SQSの記事で、Perlから使う方法を紹介しましたが、今日はJavaから 使う方法を紹介したいと思います。 というのはフレクトでは、Web系のアプリケーション構築はJavaで作ることが多いからです。 Perlはサーバの運用・管理のツールとして使うケースが多いです。 なお、Amazon SQSの本ブログでの紹介は以下のページを参照してください。 http://blog.flect.co.jp/cto/2010/09/amazon-sqs-4938.html ■ AWS SDK for Java JavaからAmazon Web Servicesを操作するには、Amazon純正のSDKである 「AWS SDK for Java」を使います。以下からダウンロードできます。 http://aws.amazon.com/sdkforjava/ 他にもPHP、Ruby、.NETなど
多くのメッセージングシステムでは、正常に処理されなかったメッセージは Dead Letter Queue(DLQ) に溜め込み、異常系メッセージを別途処理する機能が提供されている。 RabbitMQ : http://www.rabbitmq.com/dlx.html JBoss : https://community.jboss.org/wiki/DeadLetterQueues Amazon のメッセージングシステム SQS も 2014/01 から DLQ に対応したようなので AWS CLI boto(Python SDK) から触ってみた。 AWS SQS の Dead Letter Queue について SQS ではメッセージを受け取ったあと 明示的にメッセージ削除するとキューから削除される Default Visibility Timeout を超えても削除されなかったメッセ
Amazon SQSのロングポーリング設定でコストを99%削減した話 - Uzabase for Engineers
こんにちは。 NewsPicksエンジニアの美濃部です。 NewsPicksではAWSをインフラ基盤として利用しているのですが、この記事では実際に行ったSQSのコスト削減の話をしたいと思います。 結論から話すとタイトルにもありますが「SQSでメッセージを受信する時にはショートポーリングではなくロングポーリングにした方が大体においてコストが下がります」という内容です。 この話の発端はコスト削減の余地がないかを検討していてSQSのコストが高すぎないかと感じたところから調査が始まりました。SQSはAPIリクエスト数に応じた従量課金なのですがAPIリクエスト数を確認するとやはり多すぎると感じました。（ここはかなり感覚的なところなので何をもって多いと判断したかと言われると困るのですが） NewsPicksでは「SQS＋ワーカープロセス」で非同期処理を行うシステムがいくつかあり、これはよくあるワーカー
IBM Developer
IBM Developer is your one-stop location for getting hands-on training and learning in-demand skills on relevant technologies such as generative AI, data science, AI, and open source.
AWS CDKでAPIGateway/SQSと連携した2層LambdaをTypeScriptで開発してみる | DevelopersIO
Lambda/API GatewayをAWS SAMを利用して定義していた所に代わり、CDKを使ったプロジェクトがもっと普及してもいいんじゃないかな？と思い、AWS CDK(Typescript)を利用してサーバーレスアプリケーションを開発してみました。 どうも、もこ@札幌オフィスです。 最近CDKにお熱で、Lambda/API GatewayをAWS SAMを利用して定義していた所に代わり、CDKを使ったプロジェクトがもっと普及してもいいんじゃないかな？と思い、AWS CDK(Typescript)を利用してサーバーレスアプリケーションを開発してみました。 作る物 APIGateway / Lambdaを利用して、SQSにキューイングする一般的なサーバーレスアプリケーションを作ってみます。 API Gateway/Lambdaの構成だけでは味気ないので、SQSをイベントソースに処理用のL
[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 先日 (2020/07/28) 開催しました AWS Black Belt Online Seminar「What’s New in Serverless」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200728 AWS Black Belt Online Seminar What’s New in Serverless AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. EventBridge については 「Lambda ⇒ EventBridge ⇒ Lambda」 といった AWS サービス間の連携も可能という認識です。ただし
![[AWS Black Belt Online Seminar] What’s New in Serverless 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/7299922f0d7d95a821c165e2c8dd7427a034af16/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F08%2F07%2FThumbnail-1.png)
AWS SQSをひと通り(Simple,Batch,DeadLetter,LongPolling) - Qiita
はじめに SQSとSDKを使ってあれこれやります。SQSはAWSの中でも古いサービスだってことらしいのでSDK javaの情報って結構出回っているのかなと思いきや、意外になかったようでして、今回ひと通り試してみました。 １．シンプルなメッセージのやりとり ２．Batch処理を使ったメッセージ送信 ３．LongPolling ４．DeadLetterQueue スケールするアーキテクチャを組むときに疎結合させることがポイントとなりますが、キューは疎結合を実現するときの大きな武器になります。 これまではRabbitMQ、AcviveMQなどを使ったりWebSphereMQなど商用のサービスがありましたが、構築するのも面倒な上、高可用性のメッセージングサービスを作りこむのは非常に骨が折れます。 その点SQSは高い可用性を持った分散キューサービスをSDKを使うことで簡単に利用できるのが超魅力的です
20210624 Monitoring the AWS Observability Workshop Environment with Datadog O...
How to perform ordered data replication between applications by using Amazon DynamoDB Streams | Amazon Web Services
AWS Database Blog How to perform ordered data replication between applications by using Amazon DynamoDB Streams AWS customers use Amazon DynamoDB to store mission-critical data. These customers’ applications make millions of requests per second to individual DynamoDB tables that contain hundreds of terabytes of items. They count on DynamoDB to return results in single-digit milliseconds. In many c
AWS事業本部の梶原＠福岡です。 福岡オフィスでこんなことがありました。 「Lambdaファンクションで状態を取得して、正常に終了するまで、1分くらいでリトライしたいんですけどなんか簡単な方法ないすか？」 「CloudWatch Events で定期実行とか。」 「ステップファンクションでステートマシンで回すとか。」 「SQSとか？」 「SQS!!!!!!??????、Ｓ？Ｑ？Ｓ？なぜ繰り返しでキューが！？」 実は昨年、SQSでアップデートがありました。 AWS LambdaがSQSをイベントソースとしてサポートしました！ AWS LambdaがSQSをイベントソースとしてサポートしました！ ということで、SQSからLambdaが起動できるんです。 え、だから、どうするのって事なんですが、 実はよくあるハマりなんですが、キューに入れたメッセージは処理後一定時間たつと再度見えるようになります
[セッションレポート]How Dropbox Scales Massive Workloads Using Amazon SQS #reinvent | DevelopersIO
re:InventにてDropboxがSQSをどのように大規模に使っているのか、というセッションを聴講してきました。以下に内容を箇条書きで残しておきます。 内容まとめ Dropboxにとって「同期」というものが最もコアな競争力 共有 コラボレーション 「同期」を実現するための課題: いかにして巨大なワークロードを、アップロードされたその瞬間に実施するか。 アップロードされた後、ファイルの種類によって様々な処理を実施し、メタデータを取得する必要がある。 画像ファイル: EXIFの取得、サムネイル取得 動画ファイル: エンコード などなど 同期時の処理は以下の制約を満たす必要がある 低レイテンシ 高スループット 様々な処理への柔軟な対応 Dropboxではこれまでに様々なアーキテクチャを試してきた 最初に、オンプレのDropbox環境でファイル処理しS3へと保存する構成 問題点: オンプレとA
![[セッションレポート]How Dropbox Scales Massive Workloads Using Amazon SQS #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9f822a733dd20e28505900c2cfb90a863cdb365a/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F11%2Fre_invent_eyecatch.png)
SQS / SNSのローカル実装 CMB (Cloud Message Bus) を試してみた | DevelopersIO
よく訓練されたアップル信者、都元です。Amazon SQS及びSNSは、AWSにおけるスケーラブルでマネージド、そして格安のメッセージングサービスです。これらのプロダクトは「サービス」であり、開発サーバやローカルマシンにインストールして使うものではありません。 しかし、テストや開発目的で、ローカルで動作させたいこともあるかもしれません。ちなみにDynamoDBも同じようなサービスですが、こちらは公式にDynamoDB Local等のソリューションが存在します。 残念ながら、SQSやSNSにはこのような公式の対応がありませんが、GitHubをウロウロしていたら CMB (Cloud Message Bus)という、SQS/SNS互換実装が見つかったので、さっと試してみました。 インストール CMB本体のインストール まずはダウンロード。配布ページがあったので、こちらからダウンロードします。本
AWS News Blog
AWS Chatbot Now Integrates With Microsoft Teams I am pleased to announce that, starting today, you can use AWS Chatbot to troubleshoot and operate your AWS resources from Microsoft Teams. Communicating and collaborating on IT operation tasks through chat channels is known as ChatOps. It allows you to centralize the management of infrastructure and applications, as well as to automate and streamlin
翻訳は機械翻訳により提供されています。提供された翻訳内容と英語版の間で齟齬、不一致または矛盾がある場合、英語版が優先します。 Amazon SQS可視性タイムアウト コンシューマーがキューからメッセージを受信して処理しても、そのメッセージはキューに保留されたままです。Amazon SQSでは、メッセージが自動的に削除されません。Amazon SQSは分散システムであり、接続の問題やコンシューマーアプリケーションの問題などが原因で、コンシューマーが実際にメッセージを受信するという保証がありません。そのため、コンシューマーはメッセージを受信して処理した後、キューからメッセージを削除する必要があります。 メッセージが受信された直後は、メッセージはキューに保留されたままです。他のコンシューマーが同じメッセージを再び処理しないように、Amazon SQSは可視性タイムアウト、つまり Amazon S
下記でAPI GatewayとLambdaを連携させてみました。 "API Gateway"のバックエンドを"Lambda"にしてJSONデータをエコーさせる 今回はLambdaから更に別のAWSコンポーネントと連動させてみたいと思います。 (つまりLambdaのPythonのBotoの練習です) 具体的には下記のようにJSONデータをAPI GatewayにPOSTして、 バックエンドのLambdaが、そのJSONデータをSQSにエンキューさせてみます。 基本的には上記リンクのLambdaファンクションの部分を POSTされたJSONデータをSQSにエンキューするように修正した形となります。 Lambdaのコード 下記のように実装しました。(今回はロギングまわりも改善しています) import json import boto3 import logging logger = loggi
SQS等のキューを介して非同期に処理を行う Queue Chain パターンを実装する場合、SQSに突っ込む処理はWebアプリ等の処理中に書けばよいので特に考えることはないが、SQSからメッセージを抜いて後続の非同期処理を実行するワーカープロセスをどのように起動管理するか？が肝になる。非同期処理を出来るだけ早く処理したい場合は特に。 JavaならMDB(Message Driven Bean)のような仕組みがすでにあるが、軽量言語(PHP,Pearl, Ruby, Python,etc)向けに何かうまい方法を用意したい。Cronで１分間隔起動だと、処理時間によっては重複起動になるし、そもそも分単位での制御しかできないので出来れば常駐化させたい。言語ごとには解決策があるのかもしれないが、もう少し汎用的な仕組みが欲しい。 で、辿り着いたのが Supervisord というプロセスをデーモン化(
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon SQSを使ったPub/Subモデルにより、システム間の依存関係を逆転させる - Qiita
Cost allocation tagsについて | Amazon Web Services
ちょっと時間かかるけど Amazon SES でのメール送信エラーをなるべく検出する方法 - Qiita
設定情報のpush型構成を組む場合の手段についてのメモ - すずけんメモ
https://qiita.com/takashibagura/items/8b49b8b02bb797210c5b
Amazon SQSデッドレターキュー - Amazon Simple Queue Service
Amazon S3 イベント通知 - Amazon Simple Storage Service
SQSってなんじゃ？(SQSに関する考察) - かれ4
CakePHPでSQSを使って非同期にメール送信し、送信プロセスの監視を行う - Qiita
AWS Black Belt Tech シリーズ 2016 - Amazon SQS / Amazon SNS
AWSアカウントでSNSとSQSを連携させるには | DevelopersIO
Services_Amazon_SQSを触ってみた - おぎろぐはてブロ
[JAWS-UG CLI] SQS:#3 メッセージの受信 (処理側) - Qiita
elasticmqを使ったsqsとの連携テスト - Qiita
Amazon SQS での Lambda の使用 - AWS Lambda
プッシュ通知の基礎知識＆秒間1万を超えるプッシュ通知基盤のアーキテクチャと仕組みとは
フレクトのクラウドBlog: AWS SDK for JavaでAmazon SQSを使う
aws SQSのDead Letter Queueを触ってみる
第8回JAWSUG大阪 JAWSUG大阪 連携サービス(SNS,SQS,SES)
LambdaのリトライをAWS SQSを使ってやってみる | DevelopersIO
Amazon SQS可視性タイムアウト - Amazon Simple Queue Service
"API Gateway → Lambda → SQS"でJSONデータをエンキューする | iret.media
SQS: ワーカープロセスの稼働管理にSupervisordが便利 - aws memo