AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 | Amazon Web Services
Amazon Web Services ブログ AWS Lambda でのカスタムチェックポイントによるバッチ処理の最適化 AWS Lambdaは、Amazon Kinesis Data StreamsやAmazon DynamoDB Streamsなどのソースから取得した複数メッセージをバッチ処理できます。通常の操作では、処理を行う関数は1つのバッチから次のバッチに移動して、ストリームからのメッセージを消費します。 ただし、バッチ内のアイテムの1つでエラーが発生すると、そのバッチ内の同じメッセージ群の一部が再処理される可能性があります。新しいカスタムチェックポイント機能により、失敗したメッセージを含むバッチの処理方法をより詳細に制御できるようになりました。 このブログ記事では、バッチ失敗時のデフォルトの動作と、このエラー状態に対処するために開発者が使用可能なオプションについて説明します。
Amazon Kinesis Data Streams が AWS マネジメントコンソールで簡単にクエリを実行する機能を追加
本日、Amazon Kinesis Data Streams では、Amazon Managed Service for Apache Flink を使用して、AWS マネジメントコンソールからワンクリックで SQL クエリを実行できる機能を追加しました。この新機能により、ストリーム内のデータをリアルタイムで簡単に分析して可視化できます。 Amazon Kinesis Data Streams は、大規模のストリーミングデータを簡単にキャプチャ、処理、保存できるサーバーレスストリーミングデータサービスです。Amazon Managed Service for Apache Flink では、データストリームを処理するためのオープンソースのフレームワークおよびエンジンである Apache Flink を使用して、ストリーミングデータをリアルタイムに変換および分析できます。今回のリリースにより
[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO
コーヒーが好きな emi です。 Kinesis Data Streams にデータを流し込むときのデータの動きや構造を理解するために絵を描いてみました。 また、Lambda から Kinesis Data Streams に実際にデータを流し込み、挙動とデータの順番を見てみました。 Kinesis Data Streams の内部の仕組みと用語解説 見覚えのある方も多いかもしれませんが、Kinesis Data Streams のアーキテクチャは以下のようになっています。 プロデューサー プロデューサーと呼ばれる各種アプリケーションや AWS サービスから Kinesis Data Streams にデータを流し込みます。 コンシューマー Kinesis Data Streams からレコードを取得して処理します。 シャード 流れてくる一連のデータレコードを保持します。データが乗っかるベ
![[初心者向け] Kinesis Data Streams に Lambda でデータを流す様子を理解するために図を書いた | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1b22e45515e901074206a3d756be13e4eb277a72/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F08%2Fkinesis-data-streams.png)
Kinesis と SQS の使い分けについて調べてみた [前編：Kinesis の概要を把握する。] - サーバーワークスエンジニアブログ
こんにちは。🐱 技術課の山本です。 データを一時的に貯めておく役割を持つ Kinesis と SQS を比較してみようと思い、本記事を執筆していきます。 それぞれを利用する場面、非機能面の充実度合い、料金面について主に触れて、比較できたら良いなと考えています。 何かのお役に立ちますと幸いです。 まずはそれぞれの機能や特徴について記載し、最後に比較をしていこうと考えています。 まだ理解が浅く、概要レベルのブログです。ご承知おきください。 後編では SQS の概要を記述し、比較しようと思います。 Kinesis Kinesis には、Kinesis Data Streams 、Kinesis Data Firehose、Kinesis Data Analytics 、Kinesis Video Streams があります。 Kinesis Video Streams は WebRTC を使い
![Kinesis と SQS の使い分けについて調べてみた [前編：Kinesis の概要を把握する。] - サーバーワークスエンジニアブログ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e52b827895540fa505fac15252fd26cc19e5fe0b/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fs%2Fswx-yamamoto%2F20231011%2F20231011203423.png)
デバイスから AWS IoT Core や Amazon Kinesis にデータを取り込む際のベストプラクティス | Amazon Web Services
Amazon Web Services ブログ デバイスから AWS IoT Core や Amazon Kinesis にデータを取り込む際のベストプラクティス モノのインターネット (IoT) のデバイスは、クラウド上でトレンドの特定や意思決定に利用できるデータを生み出します。 スケーラブルなデータ取り込み機構を設計するのは複雑な作業であり、最初のステップはデバイスの期待動作を把握することです。つまりデバイスが、どうやってデータを送信しているか、どれくらいのデータ量か、データーフローのパターンは何か、その方向はどちらか、何の目的でどういったデータが行き交うのか、を把握します。これらの質問はデータ取り込みプロセスを定義する上で欠かせません。この記事では AWS IoT Core や Amazon Kinesis を使って、大規模にデータを取り込む際の各ユースケースにおけるベストプラクティ
AWS Kinesisから呼び出されるLambdaのリカバリー処理について | フューチャー技術ブログ
はじめにTIGの原木です。 最近、AWS Kinesis Data StreamとAWS Lambdaを組み合わせたデータストリーミングを扱うシステムで、Lambdaが処理に失敗した場合のリカバリー運用を考える機会がありました。 一般的に、Kinesisのようなメッセージングやイベント駆動型のシステムでは、DLQ(デッドレターキュー)という仕組みを設けます。DLQの目的は、メインアプリケーションが障害やバグにより正常に動かなかった場合、未処理のメッセージやイベントを、メインシステムとは”別口の”キューに隔離、保存することです。これにより、運用者はシステムデータのリカバリーを安全に行うことができます。 本記事では、KinesisとLambdaを組み合わせて使用する際に、DLQとしてDestinationsを使用したフェールセーフ機能を構築した際の知見を共有したいと思います。 3行まとめ La
Kinesis Data Stream の動作を確認してみる
Kinesis Data Stream AWS が提供するストリーミングマネージドサービス基盤。 AWS CLI、SDK、KCLといったライブラリで操作可能。 この記事ではAPIで実行される基本的な仕組みを理解することが目的。 AWS CLI で操作してみた結果を確認してみる ストリームの作成・削除 シャード数を指定するプロビジョニングモードで作成する aws kinesis create-stream --stream-name test-stream1 --shard-count 1 aws kinesis describe-stream-summary --stream-name test-stream1 { "StreamDescriptionSummary": { "StreamName": "test-stream1", "StreamARN": "arn:aws:kinesi
Troubleshoot iterator age that continues to increase in Kinesis Data Streams
Why does the IteratorAgeMilliseconds value in Kinesis Data Streams continue to increase? Short description The IteratorAgeMilliseconds metric in Kinesis Data Streams can increase for the following reasons: Slow record processing Read throttles AWS Lambda function error Connection timeout Uneven data distribution among shards Resolution Slow record processing An overload of consumer processing logi
【アップデート】Lambdaのイベントソースマッピングでイベントのフィルタが可能になりました | DevelopersIO
MAD事業部@大阪の岩田です。先日のアップデートによってLambdaのイベントソースマッピングでイベントのフィルタが可能になりました。 現在フィルタがサポートされるイベントソースは Kinesis Data Streams DynamoDB(DynamoDB Streams) SQS の3種です。MQやMSKはサポートされません。 何がうれしいのか これまではイベントソースに流れてきた全てのレコードがLambdaのイベントデータに引き渡されていましたが、ユースケースによっては必ずしも全てのレコードに対してロジックを実行する必要がありません。私は以前IoTシステムのバックエンドを構築した際に「インテリジェントシャドウパターン」のような設計を採用したことがあるのですが、DynamoDB StreamsからLambdaを起動して後続処理を流したいのはDynamoDBにINSERTされた場合のみで
Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた（AWS CDK） | DevelopersIO
Amazon Kinesis Data FirehoseでDynamic Partitioningによる出力データの動的パーティショニングを試してみた（AWS CDK） こんにちは、CX事業本部 IoT事業部の若槻です。 Amazon Kinesis Data Firehoseでは、S3 Bucketに出力されるデータのnamespace（プレフィックス）として、Timestampに加えて、レコード毎に指定のキー値を使用したプレフィクスを付与できるDynamic Partitioning（動的パーティショニング）という機能が利用できます。 Dynamic Partitioning in Kinesis Data Firehose - Amazon Kinesis Data Firehose 今回は、Amazon Kinesis Data FirehoseでのDynamic Partitio
Kinesis Data Firehose 動的パーティショニングの制限超過エラーに遭遇した件 - サーバーワークスエンジニアブログ
こんにちは！ サーバーワークスの松井です。 Kinesis Data Firehoseに大量のデータを送信していたら制限超過エラーに遭遇したので紹介します。 発生事象 パーティションキーをIDで指定し、1から順番にインデックスを割り振ったJSONをKinesis Data Firehoseに送信していました。 すると送信先のS3の/error配下に以下のメッセージが格納されたファイルが作成されていました。 "errorMessage":"The number of active partitions has exceeded the configured limit" マネージメントコンソールのグラフを見るとカウント500で頭打ちを食らっていますね 対策 Kinesis Data Firehose での動的パーティショニング - Amazon Kinesis Data Firehose 配
Amazon Kinesis Data Firehose の動的パーティショニングを"本番"利用してみた記録と注意点 - Qiita
(※初稿2021/09/04、 2021/12/09更新) 2021/12/08、「BigData-JAWS 勉強会#19」にて、運用実績を加味した登壇を行いました。 https://jawsug-bigdata.connpass.com/event/226545/ DMMデータインフラ部Trackingチームに所属している津久井です。 先月の8月31日にリリースされたばかりの Dynamic Partitioning(動的パーティション) in Kinesis Data Firehose について さっそく試す機会があったので、 取り急ぎこの場に仕様と実際に利用した記録、注意点を記載いたします。 前提 AWS Kinesis Data FirehoseでのS3出力のパスのカスタマイズには、 ・固定文字列の指定 ・"Firehoseに読まれた時点での"日付による指定(UTC) のカスタムプ
Amazon CloudWatch Logs のクロスアカウントを Amazon Kinesis にプッシュする
簡単な説明 CloudWatch ログ を別のリージョンの Kinesis Data Firehose ストリームに送信するには、そのリージョンが Kinesis Data Firehose をサポートしている必要があります。お住まいの地域が Kinesis Data Firehose をサポートしていることを確認してください。 Kinesis Data Firehose を使用して他のアカウントやサポートされているリージョンのログをストリーミングするには、次の手順を実行します。 宛先アカウントに Amazon Simple Storage Service (Amazon S3) バケットを作成します。AWS ID およびアクセス管理 (IAM) ロールを作成します。次に、Kinesis Data Firehose が Amazon S3 にデータをプッシュするために必要なアクセス権限を付
Amazon CloudWatch Logsを別アカウントのKinesis Data Firehoseにプッシュする手順で脳内CPUが100%になったので図に描いてみた | DevelopersIO
こんにちは！コンサル部のinomaso(@inomasosan)です。 とある案件でAmazon CloudWatch Logsに保存したAmazon Auroraのログを、別アカウントのKinesis Data FirehoseにプッシュしS3に保存できるか調査しました。が、テキストだけ読んで理解しようとしたところ脳内CPUが高負荷で爆発しました。 そこで、今回は参考にした手順で作成するリソースを図に描いて、脳の負荷を軽減してみます。 まずはシングルアカウントでの手順を図にしてみる 理解を深めるために、まずはシングルアカウントでの手順から図にしてみます。 今回はAmazon Auroraの各種ログをCloudWatch LogsからS3に連携してみたを参考に、より詳細な図を描いてみました。 Amazon CloudWatch LogsとAmazon Kinesis Data Fireho
秒間15,000件のデータを Kinesis Data Streams のオンデマンドモードで処理してみました #reinvent | DevelopersIO
1 はじめに IoT事業部の平内（SIN）です。 AWS re:Invent 2021、Serverless and on-demand analytics として発表された Kinesis Data Streams のオンデマンドモードでは、書き込み 200 MiB/秒、200,000 レコード/秒、読み取り 400 MiB/秒まで、シャード数の設定なしで利用できます。 このアップデートについては、既に、ここDeveloppers IOでも詳しく紹介されています。 そして、下記の記事でスケールの状況が、紹介されていました。 Amazon Kinesis Data Streams On-Demand – Stream Data at Scale Without Managing Capacity 新規にオンデマンドモードで作成すると4MB/s、4,000rpsとなる 200MB/s 200
SaaS におけるメトリクスの取得と可視化 ~SaaS on AWS を成功に導くためのポイントとは 第 7 回~ - builders.flash☆ - 変化を求めるデベロッパーを応援するウェブマガジン | AWS
こんにちは ! パートナーソリューションアーキテクトの青嶋です。 今回で 7 回目を迎えるということで、いよいよこの連載も中盤に差し掛かってまいりました。本稿では SaaS におけるメトリクスの取得と可視化について解説していきます。メトリクスとは時系列に整理されたデータの集まりです。メトリクスを収集し分析することで、様々な指標を作成しビジネスに活用することができます。 メトリクスのビジネス活用は SaaS ビジネスにおいても重要かつ幅広いテーマになります。本稿では SaaS におけるメトリクス活用の概観を知るために、SaaS において役立つメトリクスの説明、テナントに関連付けたメトリクスの収集、収集したメトリクスの可視化という流れで解説を行なっていきます。 選択 第 1 回 SaaS on AWS を成功に導くためのポイントとは ? 第 2 回 SaaS ビジネスの成否を分けるテナント分離
Monitoring and troubleshooting serverless data analytics applications | Amazon Web Services
AWS Compute Blog Monitoring and troubleshooting serverless data analytics applications This series is about building serverless solutions in streaming data workloads. The application example used in this series is Alleycat, which allows bike racers to compete with each other virtually on home exercise bikes. The first four posts have explored the architecture behind the application, which is enabl
Kinesis Data Analytics Studioでストリーミングデータを可視化してみた | DevelopersIO
データアナリティクス事業本部の鈴木です。 Amazon Kinesis Data Analytics Studioが利用可能になったので、さっそく東京リージョンで試してみました。 Kinesis Data Analytics Studioとは Apache Zeppelinノートブックをインターフェースに、Kinesisデータストリームに対してアドホックにクエリを実行したり、結果を可視化したりすることができます。 Amazon Kinesis Data Analytics（ストリーミングデータをリアルタイムで処理）| AWS ちなみに、「Apache Zeppelinってなんだ？」という方は、Apache Zeppelinをローカル環境で練習する記事も書きましたので、よければご確認ください。 Apache ZeppelinコンテナとPythonでデータを可視化してみた | Develope
[AWS IoT Core] ルールのエラーアクションでKinesis Data Streamsのシャードから溢れたデータを再投入してみました | DevelopersIO
[AWS IoT Core] ルールのエラーアクションでKinesis Data Streamsのシャードから溢れたデータを再投入してみました 1 はじめに CX事業本部の平内（SIN）です。 AWS IoT のルールで、Amazon Kinesis Data Streams（以下、Kinesis Data Streams）をアクションとして指定した場合、シャードの入力制限を超えたデータは、ロストすることになります。 今回は、シャードの制限を超えて溢れてしまったデータを、ルールのエラーアクションで指定したLambdaによって、再び、IoT CoreへPublishする事で、ロストをリカバリする要領を確認してみました。 溢れたデータを再投入する仕組みを作ったとしても、常時、入力制限を超えてしまっている様な場面では、対応できません。あくまでも、想定していたデータ量が一時的に超えてしまった場
![[AWS IoT Core] ルールのエラーアクションでKinesis Data Streamsのシャードから溢れたデータを再投入してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/d9fdf277e5e3da9b9ad5eb3751b2220bf7849aa7/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Faws-iot-core.png)
[Kinesis Data Streams] 後段のLambdaの実行数を予測するため、シャード数、バッチ数、同時バッチ数、処理時間の関係を確認してみました | DevelopersIO
(1)は、秒間100件しか処理できないので、1,500件処理するのに15秒かかります。そして、(2)〜(5)のように、設定で、秒間の処理件数を300件となるようにすれば、1,500/300=5 となり、ほぼリアルタイムで処理できる事になるはずです。 3 MQTT送信 確認作業のための、IoT CoreへのMQTTの送信は、下記のブログで作成したものを使用しました。 少し、ウエイトを置いて、概ね1秒で300件となるように調整しています。 data_size:256 CLIENT_ID_PREFIX:AA CLIENT_MAX:10 RPS:300 PERIOD:5 [sec] 0 2021-06-10 23:58:19.924671 counter: 300 elapsed_time: 0.9065141677856445 sec 1 2021-06-10 23:58:20.924834 c
![[Kinesis Data Streams] 後段のLambdaの実行数を予測するため、シャード数、バッチ数、同時バッチ数、処理時間の関係を確認してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1b07ed1cfa5c3227dcbc46d92b6870ba418c636/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-kinesis-data-streams.png)
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
