AWS Lambda は Kinesis および DynamoDB イベントソースの並列化係数をサポートします
AWS Lambda は、並列化係数をサポートするようになりました。この機能により、Kinesis または DynamoDB データストリームの 1 つのシャードを複数の Lambda 呼び出しで同時に処理できます。この新機能により、揮発性のデータトラフィックでより機敏なストリーム処理アプリケーションを構築できます。 デフォルトでは、Lambda は一度に 1 つのシャードからデータレコードの 1 つのバッチで関数を呼び出します。単一のイベントソースマッピングの場合、同時 Lambda 呼び出しの最大数は、Kinesis または DynamoDB シャードの数に等しくなります。 これで、Lambda が 1 (デフォルト) から 10 までの並列化係数を介してシャードからポーリングする同時バッチの数を指定できます。たとえば、並列化係数を 2 に設定すると、100 件の Kinesis デー
[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | DevelopersIO
先日のアップデートで AWS Glue がストリーミング ETL をサポートするようになりました！ AWS Glue now supports serverless streaming ETL New – Serverless Streaming ETL with AWS Glue なにが嬉しいのか まず、AWS Glue？ナニソレ？という方は、是非、以下の再入門ブログをお読みください。 AWS Glue はフルマネージドでサーバーレスな ETL（抽出/変換/ロード）サービスですが、これまでデータソースとしては S3、RDS、Redshift・・・etc といったデータストレージのみが対象でした。そのため、Kinesis Data Streams や Apache Kafka といったストリーミングデータに対して Glue を組み込んだ ETL 処理は出来ませんでした。 従来であれば、例え
![[アップデート] 1行たりともコードは書かない！AWS GlueでストリーミングETLが可能になりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/909731178f06a3ebbfbb04bd46495a3f3e639863/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F04%2Faws-glue.png)
Amazon Kinesis Data Generatorを使用してストリーミングデータソリューションをテストする | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Generatorを使用してストリーミングデータソリューションをテストする ストリーミングデータソリューションを構築する場合、ほとんどのお客様は、本番データと同様のデータを使用してストリーミングデータソリューションをテストしたいと考えています。この、データを作成してソリューションにストリーミングすることは、ソリューションをテストする際の最も退屈な作業かもしれません。 Amazon Kinesis StreamsとAmazon Kinesis Firehoseを使用すると、数十万のソースから1時間にテラバイト級のデータを連続的に捉えて保存できます。 Amazon Kinesis Analyticsでは、標準SQLを使用してリアルタイムでこのデータを分析および集計することができます。 AWS Managem
Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Analytics が東京リージョンで利用可能になりました 2019年5月、Amazon Kinesis Data Analytics が東京リージョンで利用できるようになりました。 これまで、東京リージョンにあるデータソース（Amazon Kinesis Data Streams または Amazon Kinesis Data Firehose）を Kinesis Data Analytics に接続するためには、リージョンを跨いで接続する必要がありました。Kinesis Data Analytics が東京リージョンで利用可能となったことにより、日本国内にあるデータソースと接続しやすくなり、ストリームデータ分析の環境をよりシンプルに構築できるようになりました。 Kinesis Data Analyt
20171019_aws_startup_tech
AWS Startup Tech 2017/10/19 Kinesis Firehose, QuickSight, Athena を使った行動ログ分析 株式会社Speee ヌリカエ兼開発基盤部エンジニア 森岡周平 改めて今日のお話し 下記3 つのAWS の機能を使って、 行動ログ分析の基盤 を作ったというお話し Kinesis Firehose Athena QuickSight このシステムを作る際の作業内容・ 注意点とコストが 掛かるポイントを実際に運用した経験を元に話します ※ 何も無いところから手探りのログ基盤作りなので、 間違った こと言ってたら色々 指摘して頂けると嬉しいです :bow:
スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
Amazon Kinesis AnalyticsとES/Kibana4でリアルタイムダッシュボード構築 - Gunosyデータ分析ブログ
こんにちは。開発・運用推進部の小出です。 猫にイヤホンを噛み切られること数回、最近のBGMはもっぱら環境音です。 「耳からうどんが出ているようにしか見えない」という噂のBluetoothイヤホンが気になっています。 今回は、Amazon Kinesis AnalyticsとElasticsearch/Kibana4を利用したリアルタイムダッシュボード構築についてです。 Amazon Kinesis Analytics とは ダッシュボードを構築してみる Source StreamとMapping Query Destination ログデータを拡充する Reference DataとMapping Query Destination まとめ おまけ：AmazonES&Kibana4のダッシュボード共有 Amazon Kinesis Analytics とは Amazon Kinesis A
Fluentd&Kinesis&Lambdaによる柔軟で高可用性なログ収集基盤の構築 - Qiita
概要 Fluentdによるログ収集基盤を、Lambda&Kinesisを利用した形で構成を変更したので、その時のメモ。 先に一言で感想を述べるのであれば、巷の噂通り、Kinesis&Lambdaは素敵でした。 Fluentd Aggregatorが抱える問題点 ログデータをFluentdのForwarder & Aggregatorを経由し、S3とRedshiftに保存するような構成でしたが、Aggregatorは冗長化しづらくボトルネックとなっていました。 ログ収集に求める要件 ログ収集の構成を改善するにあたり、先に挙げた目の前の問題点を解決するのは勿論ですが、他にも様々な要件があり、大別すると以下4つ。 信頼性: データをロスなく収集することができる。 安定性: ログ量に関係なく安定的なパフォーマンスを維持できる。 冗長性: 安全かつ簡単にスケーリングが可能 汎用性: 複数ログを複数サ
RubyからAmazon Kinesisを操作する - Tech-Sketch
昨年11月、米ラスベガスで開催されたカンファレンス「AWS re:Invent 2013」で、ストリーミングデータをリアルタイムに処理するサービスである「Amazon Kinesis」が発表されました。ストリーミングデータをリアルタイムに処理...と、なにやら難しそうな感じがしますが、API、SDKが公開されているので簡単に試すことができます。今回はRuby向けAWS SDKを利用し、Amazon Kinesisを操作してみます。 Amazon Kinesisとは Amazon Kinesisは、Amazon Web Servicesが提供するストリーミングデータをリアルタイムに処理する為のサービスです。近年ビッグデータの処理や分析が注目されてきましたが、バッチ処理が主流でした。Amazon Kinesisを利用すると、リアルタイムにストリーミングデータの処理や分析が可能です。また、Ama
Kinesisにリクエストを流してLambdaからS3上のJSを動的に実行する - Qiita
概要 S3 に JavaScript のモジュールを置き、そのバケット名とオブジェクトキーを Kinesis ストリームに流すことで Lambda から動的に JS を呼び出し実行してみる。 何に使うんでしょうね。 サンプルコード ローカルに書き出したファイル名に context.invokeid を使うことで require にキャッシュされることはなくなった。 つまり遅い。 つまりステートレスと言っているけど require の結果はキャッシュされているみたい。 Lambda function var fs = require('fs'); var aws = require('aws-sdk'); var s3 = new aws.S3({apiVersion: '2006-03-01'}); exports.handler = function(event, context) {
AWS 白帯シリーズ（19）Amazon Kinesis メモ | iret.media
loggly => Apache Kafka => Amazon Kinesis に流れ着いた、cloudpack の かっぱ（@inokara）です。どうも。 はじめに Amazon Kinesis について以下の日本語資料を読ませて頂きましたのでそれをまとめました。 Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来 AWS Black Belt Techシリーズ Amazon Kinesis [初音ミク] Kinesis でフリーザを撃て！ Pythonでkinesis〜ぱいきね！ in 第20回AWS User Group Japan 東京勉強会2014.04.11 Amazon Kinesis とは 一言で言うと フルマネージドリアルタイムデータ処理サービス AWS での位置づけ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Choosing the Right Messaging Service for Your Distributed App (API305) - AWS re:Invent 2018
秒間数万のログをいい感じにするアーキテクチャ