Amazon Kinesis Data Streams launches cross-account access with AWS Lambda
Amazon Kinesis Data Streams now supports resource-based policies, so you can process data ingested into a stream in one account with an AWS Lambda function in another account. Amazon Kinesis Data Streams is a serverless real-time data streaming service that can continuously capture gigabytes of data per second from hundreds of thousands of sources. AWS Lambda is a serverless compute service that l
Let's dive into Filtering event sources for AWS Lambda functions - Qiita
Let's dive into Filtering event sources for AWS Lambda functionsAWSlambdasqsKinesis はじめに 今まで、 Kinesis Data Streams + AWS Lambda Amazon SQS+ AWS Lambdaのバックエンド、 Amazon SNS + Amazon SQS + AWS Lambda といったアーキテクチャをお客様のアプリケーションの中に組み込んできた中で、よくやっていたのが、Lambda Functions内で処理すべきデータか判断する、あるいは、判断を後に任せてとりあえず全部処理したり、不要なデータをスキップしたりしていました。これは、従量課金制のLambdaに対して、本来、処理対象ではないはずの不要なデータを投入し処理し、AWSサービス利用料、処理時間等に多少なりとも影響があった
Amazon Kinesis Data Analytics が Python with Apache Flink v1.11 のサポートを開始
Amazon Kinesis Data Analytics for Apache Flink は、Python バージョン 3.7 を使用して構築されたストリーミングアプリケーションのサポートを開始しました。これにより、Python 言語でストリーミングアプリケーションを記述し、Amazon Kinesis Data Analytics で Apache Flink v1.11 を使用してそれらを実行できます。Apache Flink v1.11 は、データ処理用の統合されたリレーショナル API である Table API を介して Python のサポートを提供します。 Amazon Kinesis Data Analytics は、Apache Flink でストリーミングデータをリアルタイムで変換および分析できる最も簡単な方法です。Apache Flink はオープンソースのフレー
Amazon Kinesis Data Streams + Protocol Buffersで実現するイベント駆動アーキテクチャー
アソビュー！ Advent Calendar 2020 の18日目です。 初めまして、アソビュー！SREのkirimaruです。 最近Amazon Kinesis Data Streams用の社内向けライブラリ「Pelican」を開発したのでその話を書こう！と思ったのですが、Amazon Kinesis Data Streamsの活用事例と合わせて、そもそもこのライブラリを開発する経緯をまず書こうと思います。 余談ですが僕のアイコンはこのライブラリ用のアイコンとして作ったのものです。 アソビュー！ Advent Calendar 2020 の2日目に上記の記事が投稿されています。 その中で今回の主題のひとつであるProtocol Buffersについて下記のように触れています。 🆕 Protocol Buffers / gRPC 以前の記事の時点では、RESTfulなAPIを利用するケー
Kinesis Data Analytics によるニアリアルタイムなデータ分析ことはじめ - Qiita
「AWS & Game Advent Calendar 2020」 14日目の記事です。 Kinesis Data Analytics利用していますか？ Kinesis Data AnalyticsはAWSが提供するKinesisサービスの1つとなりますが、ストリームデータに対して条件をつけて分析をすることができます。データ分析というと大量のデータに対して集計をかけることや仮説検証のためにアドホックなクエリを実行する話もよく出てくると思いますが、ユーザが行動したタイミングに可能な限り近いタイミングでユーザの行動を把握し対応することができると、ユーザに対して高い効果で影響が与えられるものです。 このようなニアリアルタイムな分析では大量データの分析とは異なる技術スタックが求められ、ストリーミングデータ処理を扱える基盤を整備すると柔軟性のある構成をとることができます。ここではKinesis Da
Optimizing batch processing with custom checkpoints in AWS Lambda | Amazon Web Services
AWS Compute Blog Optimizing batch processing with custom checkpoints in AWS Lambda AWS Lambda can process batches of messages from sources like Amazon Kinesis Data Streams or Amazon DynamoDB Streams. In normal operation, the processing function moves from one batch to the next to consume messages from the stream. However, when an error occurs in one of the items in the batch, this can result in re
AWS Lambda が Amazon Kinesis と Amazon DynamoDB ストリームでのチェックポイント機能をリリース
AWS Lambda のお客様は、Amazon Kinesis と Amazon DynamoDB ストリームにおいて、正しく処理されたレコードの自動的なチェックができるようになりました。この処理には、新たなパラメータ (FunctionResponseType) を使用します。このパラメータを “Report Batch Item Failure” に設定することで、バッチ処理が失敗した場合には、最近成功したメッセージが再試行された後にのみ、レコードが作成されるようになります。この設定により、処理の重複が減らせ、処理の失敗に対応するための選択肢を広げることができます。 お客様は、Amazon Kinesis と Amazon DynamoDB ストリームで既に利用可能となっている、他の失敗処理機能と合わせて、今回リリースのチェックポイント設定機能をご使用になれます。処理の失敗が生じた場合
Using AWS Lambda for streaming analytics | Amazon Web Services
AWS Compute Blog Using AWS Lambda for streaming analytics AWS Lambda now supports streaming analytics calculations for Amazon Kinesis and Amazon DynamoDB. This allows developers to calculate aggregates in near-real time and pass state across multiple Lambda invocations. This feature provides an alternative way to build analytics in addition to services like Amazon Kinesis Data Analytics. In this b
AWS Lambda で Amazon Kinesis と Amazon DynamoDB ストリームの分析がより簡単になりました
AWS Lambda をご使用のお客様は、Amazon Kinesis もしくは Amazon DynamoDB ストリーム向けの、分析ワークロードを構築できるようになりました。この機能の使用には追加の料金は必要なく、加算、平均、計数、および他のシンプルな分析関数を、シャードごとに最大 15 分間の、互いに連続してオーバーラップのない時間ウィンドウ (タンブリングウィンドウ) で実行されるように構築することが可能です。お客様は、単一の Lambda 関数の中にビジネスと分析のためのロジックを集約できるので、アーキテクチャの複雑さを低減できます。 Amazon Kinesis Data Analytics や Kinesis Data Analytics for Apache Flink などの既存サービスに加え、短時間の分析を Kinesis と DynamoDB データストリームのために
DynamoDB StreamsとKinesis Data Firehoseを使ったサーバーレスリアルタイムETL - Qiita
何を書いた記事か 過去にDynamoDB Streams + Kinesis Data Firehose + Lambdaを用いたリアルタイムETLを検証した際のメモをこちらに転載します。 特にKinesis Data Firehoseの裏で動かすLambdaの実装に癖があったので、誰かの参考になれば幸いです。 前提 Webサービスなど展開していて、Database層にDynamoDBを採択している場合、そのデータを分析するための分析基盤構築手法として、Glueを用いたETLが一般的な選択肢になりうるのかなと思います。 最近DynamoDBのTableをS3にExportできる機能もGAになったので、フルダンプ＋日時バッチのデータ分析としてはそのような手法も使えるかもしれません。 しかし、DynamoDB上にあるデータをなるべくリアルタイムに分析基盤に連携したい、最低限のETL処理も挟みた
Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました 2019年5月、Amazon Kinesis Data Analytics が東京リージョンで利用できるようになりました。 これまで、東京リージョンにあるデータソース（Amazon Kinesis Data Streams または Amazon Kinesis Data Firehose）を Kinesis Data Analytics に接続するためには、リージョンを跨いで接続する必要がありました。Kinesis Data Analytics が東京リージョンで利用可能となったことにより、日本国内にあるデータソースと接続しやすくなり、ストリームデータ分析の環境をよりシンプルに構築できるようになりました。 Kinesis Data Analyt
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Streams and serverless at DAZN