[Kinesis Data Streams] 後段のLambdaの実行数を予測するため、シャード数、バッチ数、同時バッチ数、処理時間の関係を確認してみました | DevelopersIO
(1)は、秒間100件しか処理できないので、1,500件処理するのに15秒かかります。そして、(2)〜(5)のように、設定で、秒間の処理件数を300件となるようにすれば、1,500/300=5 となり、ほぼリアルタイムで処理できる事になるはずです。 3 MQTT送信 確認作業のための、IoT CoreへのMQTTの送信は、下記のブログで作成したものを使用しました。 少し、ウエイトを置いて、概ね1秒で300件となるように調整しています。 data_size:256 CLIENT_ID_PREFIX:AA CLIENT_MAX:10 RPS:300 PERIOD:5 [sec] 0 2021-06-10 23:58:19.924671 counter: 300 elapsed_time: 0.9065141677856445 sec 1 2021-06-10 23:58:20.924834 c
![[Kinesis Data Streams] 後段のLambdaの実行数を予測するため、シャード数、バッチ数、同時バッチ数、処理時間の関係を確認してみました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f1b07ed1cfa5c3227dcbc46d92b6870ba418c636/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Famazon-kinesis-data-streams.png)
Kinesis+Lambda構成での、処理遅延を監視する | フューチャー技術ブログ
はじめにフューチャー棚井龍之介です。 本ブログでは、サーバレス連載の第1日目として、「Kinesis+Lambda構成」でのメトリクス監視について取り上げます。 データ流入量が徐々に増加する見込みのとき、各リソースのどのメトリクスを重点チェックすべきか。また、メトリクスがリソースの制限にぶつかった場合やアラート検知された場合にどのような対応アクションを取るべきか。KinesisやLambdaのリソース監視設定から得た知見を、本ブログに整理しました。 そもそもの「サーバレスって、何が便利なんだっけ？」から整理したい方は、AWS公式のグラレコ解説記事をご覧ください。 今回のサーバレス構成「Amazon Kinesis Data Streamでデータを受け、AWS Lambdaがコンシュームする構成」を本ブログで想定する環境とします。 AWS本家の形で考えるサーバレス設計でも「流入データの連続処
Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) | DevelopersIO
Audioデータをクラウドに送ってみました。 MQTT + Amazon Kinesis Data Firehose + S3 (JSON) 1 はじめに CX事業本部の平内（SIN）です。 今回は、エッジ側のAudioデータをクラウドへ送信する要領を確認してみました。 送信の方法や、保存先は色々考えられますが、手始めにMQTTで送信し、Amazon Kinesis Data Firehose経由で、S3に保存する形を試してみました。 また、保存されたAudioデータから時間を指定して、wavファイルを生成するLambda関数も書いてみました。 確認が容易なように、とりあえず、Audioデータをターゲットとしていますが、連続するストリームを扱うという意味では、Audioに限らず応用ができるのではと考えています。 2 Audio入力 エッジ側は、RaspberryPiとしたのですが、デフォル
[翻訳]SQSとKinesisの特徴の違いと使い分け方。 - Qiita
KinesisとSQSはとても似ているサービスで、どのように使い分けたらよいか、どんな違いがあるのかが 気になっていました。 そんな時、以下の記事を見つけました。 とても良い記事なので、翻訳記事を紹介します。 以下翻訳記事： 私達がWorkviaのメッセージングシステムを設計する際、Kinesisをメッセージストレージ及びデリバリメカニズムとして利用することを検討しました。 最初は、kinesisはどのような課題も解決できる特徴を持っているように見えました。 Kinesisはテラバイト級のデータを保管でき、古いメッセージの再送をする機能を持っていて、複数のメッセージコンシューマを利用することをサポートしていたからです。 しかし、もう少し細かな点まで確認していくと、Kinesisは特別なユースケースにはとても適していることがわかりました。 そしてあなたのアプリケーションがそのユースケースに適
![[翻訳]SQSとKinesisの特徴の違いと使い分け方。 - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/525fc4df0fcd3cbed4a292209f7c2d618cb31af6/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCJUU3JUJGJUJCJUU4JUE4JUIzJTVEU1FTJUUzJTgxJUE4S2luZXNpcyVFMyU4MSVBRSVFNyU4OSVCOSVFNSVCRSVCNCVFMyU4MSVBRSVFOSU4MSU5NSVFMyU4MSU4NCVFMyU4MSVBOCVFNCVCRCVCRiVFMyU4MSU4NCVFNSU4OCU4NiVFMyU4MSU5MSVFNiU5NiVCOSVFMyU4MCU4MiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTU2JnM9MWNlZjg4YjQ0YjJhNGUzYTM1ZGM3Mjc2ZTQ3MzAwOGI%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDB5by1uYWdhc2UmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTkyNmRmNzczNzA3NjQ0OTA2YzhiNDBhODFkODZjNjQy%26blend-x%3D142%26blend-y%3D436%26blend-mode%3Dnormal%26txt64%3DaW4g5qCq5byP5Lya56S-44Oe44ON44O844OV44Kp44Ov44O844OJ%26txt-width%3D770%26txt-clip%3Dend%252Cellipsis%26txt-color%3D%2523212121%26txt-font%3DHiragino%2520Sans%2520W6%26txt-size%3D36%26txt-x%3D156%26txt-y%3D536%26s%3Dd08ab3af3d1d18e75c14eb86d2dde018)
Amazon Kinesis 向けストリーミングデータソリューション | AWS ソリューション | AWS ソリューションライブラリ
Amazon Kinesis 向けストリーミングデータソリューションには、4 つのデプロイオプションと付属の AWS CloudFormation テンプレートが含まれています。これらのテンプレートは、ダッシュボードやアラームによるデータモニタリングやデータセキュリティなど、ストリーミングデータのベストプラクティスを適用するように設定されています。 ストリーミングデータは、データプロデューサーから送り込まれる大量のデータを処理できる、規模の大きいスケーラブルなストレージによって永続的にキャプチャされる必要があります。プロデューサーは数千のデータソースであり、それぞれが継続的にストリーミングデータを生成し、通常は、同時に小さなサイズ (キロバイト単位) でレコードを送信します。この AWS ソリューションを使用すると、モバイルまたはウェブアプリケーションを使用して顧客が生成したログファイルな
[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO
Amazon CloudWatch に新しい機能、Metric Stream が登場しました！ いままでCloudWatchのメトリクスデータを、New RelicやDatadogのような外部のSaaSから参照しようと思ったら、定期的にAPIでポーリングするしかありませんでした。そのため、（この公式Blogにも書いてますが）メトリクスの種類によっては5〜10分程度の遅延が発生することになってました。 今回の機能で、CloudWatch側で更新されると同時にSaaS側へもpushされることになるため、同じタイミングで参照できるようになります。これはうれしいですね！ CloudWatch Metric Streamで出来ること 要は、CloudWatch MetricのデータをKinesis Data Firehoseに流し込むことができる機能です。 Firehose はストリームデータをS3
![[速報] CloudWatchの監視メトリクスをKinesis経由でストリーム送信可能な新機能「CloudWatch Metric Streams」が登場しました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2cd56545af48138769ce47d03f22d7baac20b923/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-cloudwatch.png)
AWS IoT とサーバーレスデータレイクを使用したフロントライン脳震盪モニタリングシステムの構築方法 – パート 2 | Amazon Web Services
Amazon Web Services ブログ AWS IoT とサーバーレスデータレイクを使用したフロントライン脳震盪モニタリングシステムの構築方法 – パート 2 本シリーズのパート 1 では、データレイクをサポートするデータパイプラインの構築方法について説明しました。そのために、Amazon Kinesis Data Streams、Kinesis Data Analytics、Kinesis Data Firehose、および AWS Lambda などの AWS の主なサービスを使用しました。パート 2 では、主要分析を使って実用的なデータを作成するサーバーレスデータレイクを作成することによってデータを処理し、可視化する方法について説明します。 サーバーレスデータレイクの作成と、AWS Glue、Amazon Athena、および Amazon QuickSight を使用したデ
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
ストリーム処理のエラー制御がより柔軟に！！Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでチェックポイントが利用可能になりました #reinvent | DevelopersIO
CX事業本部@大阪の岩田です。 Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaで新たに「チェックポイント」が利用できるようになり、処理が「途中まで成功した」という情報をLambdaだけで管理できるようになりました。 さっそく試してみたいと思います。 何が嬉しいのか？ Kinesis Data Streams/DynamoDB Streamsから起動するLambdaのイベントデータには、「バッチ」という処理単位で複数レコードの情報が渡ってきます。これまでLambda単体ではバッチ全体での処理成功/失敗しか表現できず、レコード単位での処理成功/失敗を管理するには別途DynamoDBなどを利用する必要がありました。 バッチの途中で処理が異常終了するケースについて考えてみましょう。例えば10レコードがLambdaに渡ってきた場合に7レコードまで処
[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO
CX事業本部＠大阪の岩田です。 2020/11/23付けのアップデートによりKinesis Data Streams for DynamoDBが利用可能になりました。この機能を利用すると、DynanoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャすることが可能です。 これまでもDynamoDB ストリームを利用してDynamoDBの変更をキャプチャすることはできましたが、今回Kinesis Data Streamsによるサポートが追加されたことで、より高度なシナリオに対応できるようになりました。 例えばですが Kinesis Data Analyticsを利用してストリームされた変更内容を分析する Kinesis Data Firehoseを利用してS3やAmazonES、Redshiftといった別サービスにデータを投入する といったことが可能になりま
![[アップデート]DynamoDBのアイテムレベルの変更をKinesis Data Streamsで直接キャプチャできるようになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/92798d27ecd714ee7e20f9cbdf99cfcf8d03aa46/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-dynamodb.png)
Amazon API GatewayでAWS Service Proxyを使ってKinesis Firehoseにアクセスする | DevelopersIO
Body Mapping Templatesの修正 続けてIntegration RequestのBody Mapping Templatesを修正します。 Kinesis Firehoseに単一レコードを追加するPutRecord APIのリクエストインタックスは次の形をしています。 { "DeliveryStreamName": "string", "Record": { "Data": blob } } API Gatewayに { "Data": "record" } というPOSTリクエストがされた時に、PutRecordのリクエストシンタックスに変換させるように、以下のように記入します。 { "DeliveryStreamName": "YOUR_STREAM_NAME", "Record": { "Data": "$util.base64Encode($input.json(
CloudWatch LogsのログデータをKinesis Data Firehose経由でS3に出力する | DevelopersIO
CloudWatch Logsのデータを、Kinesis Data Firehose経由でS3に出力する手順です。 Lambda Functionなどで作り込みを行わず、CloudWatch LogsのログデータをS3に出力するには、Kinesis Data Firehoseが利用できます。 本エントリでは、Kinesis Data Firehoseを介して、CloudWatch LogsのデータをS3へ出力する設定を紹介しています。CloudWatch LogsからKinesis Data Firehoseへ出力するには、CloudWatch Logsのサブスクリプションフィルタの設定が必要になりますが、こちらの設定はマネジメントコンソールでは行えないので、関連する作業含めAWS CLIを利用して実施しています。さいごに、AWS CLIで構築した同様の構成を定義するCFnテンプレートも添
[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | DevelopersIO
先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました！ AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue？ナニソレ？という方は、是非、以下の再入門ブログをお読みください。 AWS Glue はフルマネージドでサーバーレスな ETL（抽出/変換/ロード）サービスですが、これまでデータソースとしては S3、RDS、Redshift・・・etc といったデータストレージのみが対象でした。そのため、Kinesis Data Streams や Apache Kafka といったストリーミングデータに対して Glue を組み込んだ ETL 処理は出来ませんでした。 従来であれば、例え
![[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
New – Serverless Streaming ETL with AWS Glue | Amazon Web Services
AWS News Blog New – Serverless Streaming ETL with AWS Glue When you have applications in production, you want to understand what is happening, and how the applications are being used. To analyze data, a first approach is a batch processing model: a set of data is collected over a period of time, then run through analytics tools. To be able to react quickly, you can use a streaming model, where dat
ALBのアクセスログ約10分程度のタイムラグでAthena解析可能にする仕組みを紹介します | DevelopersIO
ALBのアクセスログを Lambdaを利用して CloudWatchLogsに転送し、CloudWatch Logs Insights で分析してみました。 AWSチームのすずきです。 前回の記事では、Athenaで効率的な解析を可能にするFirehoseについて紹介させて頂きました。 今回、Firehoseへのログ登録と、Athena/Glue のパーティション更新を自動化し、 10分程度のタイムラグで Athena を利用した ALBのアクセスログ解析を可能にする仕組みを紹介します。 Firehoseで Parquet形式に変換したALBのアクセスログをAthenaで解析してみた 構成図 AWS設定 S3 ALBのアクセスログ、5分ごとに各ノードが一斉にログファイルを出力する仕様です。 S3イベントから直接Firehoseの登録を実行した場合、5分ごとのログ出力直後にFirehoseの
Kinesis Data Analyticsを使ったストリーム分析のワークショップをやってみた | DevelopersIO
Kinesis Data AnalyticsではApache Flinkを使ったストリームデータに対するリアルタイム処理が可能です。 Kinesis Data Analyticsでは以下のブログで紹介されているようなSQLアプリケーションを使ったリアルタイム分析が可能です。 リアルタイム分析がやりたい！はじめてのKinesis Data Analytics | Developers.IO それだけではなく、Kinesis Data AnalyticsではApache FlinkベースのJavaアプリケーションでのリアルタイム分析も可能です。 新発表 – Amazon Kinesis Data Analytics for Java | Amazon Web Services ブログ という訳で、今回はKinesis Data AnalyticsのJavaアプリケーションの開発の流れを知ること
Kinesis Data Analytics の「時間」と「ウィンドウクエリパターン」について理解する | DevelopersIO
先日より、Kinesis Data Analytics について学習をはじめています。 今回は、Kinesis Data Analytics のアプリケーション内データストリームで時系列データを扱うにあたって重要な「時間」と「ウィンドウクエリパターン」についての理解を深めていきます。 目次 アプリケーション内データストリームにおける「時間」 どの「時間」を使って分析する？ 2 ウィンドウ戦略 3つのウィンドウクエリ・パターン タンブリングウィンドウ Stagger Windows（ずらしウィンドウ） スライディングウィンドウ まとめ アプリケーション内データストリームにおける「時間」 アプリケーション内データストリームでは、以下 3 タイプの時間に分類されます。正しく分析結果を得るためには、それぞれの時間についての意味を正しく理解しましょう。 引用元：Amazon Kinesis Anal
リアルタイム分析がやりたい！はじめての Kinesis Data Analytics | DevelopersIO
先日のストリーミングズンドコ記事が面白くて、Kinesis Data Analytics を触ってみたくなりました。 これまで Kinesis Data Analytics を使った経験はないので初心者目線でまとめてみたつもりです。同じように「これからはじめてみよう！」という方の参考にもなるかと思います。 Kinesis Data Analytics とは？ 簡単に言ってしまうと、SQL や Java(Apache Flink) を使ってストリーミングデータに対してリアルタイム分析を行うことが出来るマネージドサービスです。 サービスとしては 2016年8月に GA になっていますが、東京リージョンで利用可能になったのは 2019年1月 ですので、まだ 1年ちょっとですね。 ユースケースとしては「ストリーミング ETL」「継続的メトリック生成」「リアルタイム応答分析」など、幅広いストリーミン
ストリーミングズンドコをKinesis Data Analyticsでキヨシ判定してみた | DevelopersIO
ズンドコキヨシ(プログラム)とは？ Javaの講義、試験が「自作関数を作り記述しなさい」って問題だったから 「ズン」「ドコ」のいずれかをランダムで出力し続けて「ズン」「ズン」「ズン」「ズン」「ドコ」の配列が出たら「キ・ヨ・シ！」って出力した後終了って関数作ったら満点で単位貰ってた — てくも (@kumiromilk) March 9, 2016 今回はこのズンドコキヨシを、Kinesis Data AnalyticsのSQL Applicationsでやってみました。 入力はKinesis Data Streamsに別のプログラムとして送っており、キヨシ判定後に終了しないため、もしかすると純粋ズンドコキヨシではないのかもしれませんが、あらかじめご承知おきください。 What if... 世界は変化し、あらゆるプログラムがズンドコを送るようになりました。 これに対応するため、あなたは多数の
Preprocessing Data in Amazon Kinesis Analytics with AWS Lambda | Amazon Web Services
AWS Big Data Blog Preprocessing Data in Amazon Kinesis Analytics with AWS Lambda Many customers use Amazon Kinesis to ingest, analyze, and persist their streaming data. One of the easiest ways to gain real-time insights into your streaming data is to use Kinesis Analytics. It enables you to query the data in your stream or build entire streaming applications using SQL. Customers use Kinesis Ana
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
