AWS News Blog
New – Amazon EC2 Hpc7a Instances Powered by 4th Gen AMD EPYC Processors Optimized for High Performance Computing In January 2022, we launched Amazon EC2 Hpc6a instances for customers to efficiently run their compute-bound high performance computing (HPC) workloads on AWS with up to 65 percent better price performance over comparable x86-based compute-optimized instances. As their jobs grow more co
Amazon Kinesis Client Library for Python でログレベルを変更する - Qiita
Kinesisストリームを使ったアプリケーションをPythonで作成するのは Amazon Kinesis Client Library for Python を使うのが楽です。そして、KCLワーカーはECSのコンテナとして起動すると運用がめちゃ楽です。 ECSのコンテナは、その出力をCloudWatchLogsにロギングしてくれるので、KCLワーカーのログもそうしたいですが、KCL for Pythonで使う MultiLangDaemon のログはデフォルトログレベルがINFOで、非常に冗長なので、このログレベルをWARNINGに変更したいと思います。 今回は、KCL for Pythonのサンプルアプリケーションを使ってやってみたいと思います。 まず KCL for Python を git clone します。
Streams.KCLAdapter.html
Amazon DynamoDB からのストリーミングを使用するには、Amazon Kinesis Adapter を使用することをお勧めします。DynamoDB Streams API は、Kinesis Data Streams (大規模なストリーミングデータをリアルタイムで処理するサービス) と意図的に似せています。どちらのサービスでも、データストリーミングは、ストリーミングレコードのコンテナであるシャードで構成されています。両方のサービスの API には ListStreams、DescribeStream、GetShards、および GetShardIterator オペレーションが含まれています。(これらの DynamoDB Streams アクションは、Kinesis Data Streams の対応するアクションと似ていますが、100% 同一ではありません)。 Kinesis
ストリームデータ処理サービスAmazon Kinesisについて調べた結果 - 夢とガラクタの集積場
こんにちは。 最近ストリームデータ処理サービスであるAmazon Kinesisのドキュメントを読んだり、 クライアントコードのソースを読んだり、実際の小さいアプリケーションを作ったりしたのですが、 その際にわかったことをとりあえずまとめておこうと思います。 1.Amazon Kinesisとは？(http://aws.amazon.com/jp/kinesis/) ・Amazon Kinesis は、大規模なストリーミングデータをリアルタイムで処理する完全マネージド型サービス ・大容量のストリームデータを受信し、提供することができる 2.Kinesisの構造(http://docs.aws.amazon.com/kinesis/latest/dev/introduction.html) ・Kinesisの実態は「大規模でスケール可能、メッセージが一定時間保存されるPubSub型キュー」
AWS/Kinesis + API Gateway + Lambda + DynamoDB を使ってみた - STEAM PLACE
はじめに サーバレスアーキテクチャだ！と興奮しながら Kinesis, API Gateway, Lamda,DynamoDB を使ったシステムを作ったお話。 細かい設定方法は要点毎にググった方が早いと思うので、Tipsを中心に。 本構成がだれかの役に立てば幸いです。 どんなシステムか ざっくりと、下記のような感じ。 デバイスからデータを登録したい 並列でデータを登録したい（将来的に1000req/sec くらい） 登録したデータをWEBAPIで取得したい サーバ費用はお安く 要するに、 大量のデータを同時に登録できて、ついでに取得できるAPIも作ってよ。 もひとつついでに、サーバを新しく立てたくないし、保守もしたくないよ。 ってこと。 こんな要件を依頼された方はこの記事が参考になるかもしれない。 どんな構成か データ登録は Kinesis -> Lambda -> DynaoDB Kin
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 2016/06/03(金)のAWS Summit Tokyo 2016でクックパッド株式会社の星さんが「秒間数万のログをいい感じにするアーキテクチャ」という発表をされました。 クックパッドのログ収集基盤が Fluentd や Amazon Kinesis Streams や Redshift を活用していい感じするアーキテクチャが参考になった方は非常に多いと思います(あの規模のサービスに関わるかはともかく)。 発表の中でKinesis Producer Library(以下 KPL)を使ってログ数多すぎ問題を解決したことが語られていました。 個人的には、Kinesis Streams のシャード数を増やせばどうにかなるレベルのサービスしか担当したことがない
AWS Solutions Architect ブログ
ソリューションアーキテクトの今井です。この記事はAWSのビッグデータブログにポストされたProcessing Amazon Kinesis Stream Data Using Amazon KCL for Node.jsという記事の翻訳で、Amazon KinesisのConsumerアプリケーションをNode.jsで実装するためのAmazon KCL for Node.jsについての紹介です。 個人的にJavaScriptが大好きなので、ConsumerアプリケーションがJavaScriptで簡単に実装できるようになるというのは非常に嬉しい限りです！ このポストではAmazon Kinesis Client Library(KCL) for Node.jsについて紹介します。Node.jsについてはご存知の方も多いでしょうが、ノンブロッキングIOやイベント駆動型、動作が軽くて効率的という
Kinesis Client Libraryを実案件でつかってみて - Qiita
Kinesis Client Libraryをつかってみて Kinesis Client Library(KCL)って？ Amazon Kinesisはストリーム処理を行うことができるサービスで、 Kinesis StreamはMessage Queueのような働きをします。 Kinesis Client Libraryは、Amazon Kinesisを利用する上で気を付けなければいけない部分を薄くラップしてくれる便利なライブラリです。 Checkpointを利用したデータのトランザクション処理、再送処理や、 リシャーディングにあわせた処理の並列化などをサポートしてくれます。 詳細はこちら ⇒ Kinesis Client Library 実案件で感じたKinesisを使うメリット データを取得するConsumer側のペースにデータの流入を調整できるため、バックエンドの負荷を調節しやすくな
Amazon KinesisのデータをTailするユーティリティ - Qiita
REGION: us-east-1とかap-northeast-1とか STREAM_NAME: stream名 STRATEGY: TRIM_HORIZON or LATEST (DefaultでLATEST) Output ShardID, PartitionKey, SequenceNumber, Data shardId-000000000002, zhfddlqahmqbtccwbrkaibilwtjadidddkuo, 49545830252860334642300441320662317302669106337672069138, TestString-71 shardId-000000000002, oleerhraymybmeuhrrlmwezrxzeglixumbye, 49545830252860334642300441320665944080127950225196
Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版) | DevelopersIO
Kinesis Producer Library(KPL)とfluentdとLambda(Python3)を連携させる(Amazon Linux2版) AWS のストリーミングサービス Kinesis には、データ・インジェスションの性能を高め、運用を楽にするKinesis Producer Library(以下 KPL)が存在します。 ユースケース 2016年6月には、以下のような構成で KPL でデータ連携する構築手順を紹介しました。 Amazon Kinesis Data Streams KPL fluentd Amazon Linux 1 Lambda(Python 2.7) Kinesis Producer Library(KPL)とfluentdとLambdaを連携してKinesisのスループットを上げる 今回はそのアップデート版として Amazon Linux → Amazo
Amazon Kinesis Data Generatorを使用してストリーミングデータソリューションをテストする | Amazon Web Services
Amazon Web Services ブログ Amazon Kinesis Data Generatorを使用してストリーミングデータソリューションをテストする ストリーミングデータソリューションを構築する場合、ほとんどのお客様は、本番データと同様のデータを使用してストリーミングデータソリューションをテストしたいと考えています。この、データを作成してソリューションにストリーミングすることは、ソリューションをテストする際の最も退屈な作業かもしれません。 Amazon Kinesis StreamsとAmazon Kinesis Firehoseを使用すると、数十万のソースから1時間にテラバイト級のデータを連続的に捉えて保存できます。 Amazon Kinesis Analyticsでは、標準SQLを使用してリアルタイムでこのデータを分析および集計することができます。 AWS Managem
Amazon Kinesis Streams初期構築設定 2016年5月版 | DevelopersIO
AWSにはKinesis Streamsというフルマネージドなリアルタイムデータ処理サービスがあります。 Kinesis が必要とされるプロジェクトはなかなか触れる機会がなく、EC2やRDSのように一般的ではないため、運用の取っ掛かりのような情報がまとまっていません。 そこでAmazon Kinesis Streamsを利用するときに、最初にやっておくべき設定や重要な監視項目をまとめてみました。 なお Amazon Kinesis は以下の3サービスで構成されます。 Streams - ストリーミングデータを処理、分析する独自のカスタムアプリケーションを構築する Firehose - 大量のストリーミングデータを AWS に簡単にロードできる(一部リージョンでのみ利用可能。東京はまだ利用できない) Analytics - 標準 SQL でストリーミングデータを簡単に分析できる(Coming
Lambda(Python)からKinesisにPut(API)してLambda(Python)でGet(Event)する | iret.media
こんな感じです。 API(Boto3)でPutするのは、まあ当たり前ですが、Getに関しては、 Lambdaの"event source"にKinesisというものがあり、それを設定することにより イベントドリブンでKinesisのデータをLambdaで処理することができます。 ということで、作ってみます。 Kinesisの作成 AWSマネジメントコンソールより下記のように作成します。 IAMの設定 Lambdaに設定するIAMロール(lambda_basic_exection)にKinesisが扱える マネージドポリシー(AmazonKinesisFullAccess)をアタッチします。 KinesisへPutするLambdaファンクション コードは、こんな感じです。 import logging import boto3 def lambda_handler(event, contex
AWS 白帯シリーズ（19）Amazon Kinesis メモ | iret.media
loggly => Apache Kafka => Amazon Kinesis に流れ着いた、cloudpack の かっぱ（@inokara）です。どうも。 はじめに Amazon Kinesis について以下の日本語資料を読ませて頂きましたのでそれをまとめました。 Amazon kinesisで広がるリアルタイムデータプロセッシングとその未来 AWS Black Belt Techシリーズ Amazon Kinesis [初音ミク] Kinesis でフリーザを撃て！ Pythonでkinesis〜ぱいきね！ in 第20回AWS User Group Japan 東京勉強会2014.04.11 Amazon Kinesis とは 一言で言うと フルマネージドリアルタイムデータ処理サービス AWS での位置づけ
AWS CLIを使って初めてAmazon Kinesisを使ってみた - Qiita
Amazon Kinesisを使った事がなかったので、以下のチュートリアルをやってみた時のメモ。 チュートリアル: AWS CLI を使用した Amazon Kinesis の使用開始 また、操作はAWS CLIのみで実施 ストリームを作成してみる まずはデータをKinesisへ登録するために必要なストリームを作成。 # 作成 $aws kinesis create-stream --stream-name Foo --shard-count 1 # 確認.作成中 $aws kinesis describe-stream --stream-name Foo { "StreamDescription": { "StreamStatus": "CREATING", "StreamName": "Foo", "StreamARN": "arn:aws:kinesis:us-west-2:<acc
f290ed5d4e305508dc63
注記： re:Invent2019でLambda streamアクセス、エラーハンドルの仕方にupdateが入っております。 起動についてはこちら、エラーハンドルはこちらなど、update情報が落ち着いた後、こちらの記事をupdateしようと思いますので、updateが入っている前提で読んでいただければと思います。 はじめに AWS Lambdaの必要な数を設計するときに、同期/非同期/streamの呼び出しパターンがあるのは、ご存知でしょうか？公式情報はこちら 同期型はイベント駆動型というと理解が早いでしょうか？ API Gateway/S3/CloudTrailをトリガーにした場合の呼び出し方法です。 stream型データ= kinesis streams/DynamoDB Streamsをトリガーにした場合です。 同期型の場合、利用量が増えてくるとAWS Lambdaの同時起動数を増
AWS Lambda いろいろまとめてみた - Qiita
はじめまして。こんにちは。ポーのかあちゃん＠SRA関西事業部 です。（ポーは★ここ★） SRA Advent Calendar 2016の23日目を担当します。よろしくお願いします。 さて。なにを書こうか悩みましたが、お仕事でAWS Lambdaを利用することがあったので、それについていろいろまとめたいと思います。 よろしければ最後までおつきあいください。 AWS Lambda って？ サーバレスで実行可能なコンピューティングサービスです。 AWS上でアプリケーションやAPIなどを実装する場合、EC2インスタンス上にサーバ構築することもできますが、Lambdaであればそのような環境を用意することなくアプリケーションを作成・実行することができます。自動でスケールもしてくれます。 あらゆる言語で実装することができる上に、VPCにも対応しました。 運用の手間や維持コストを軽減できるので、手軽で便
KafkaとAWS Kinesisの比較
Apache Kafka Meetup Japan #1 http://connpass.com/event/32293/ LT発表資料
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Find Answers to AWS Questions about Amazon Kinesis
GitHub - awslabs/amazon-kinesis-archiver: An AWS Lambda module and node.js library to facilitate Amazon Kinesis archival and replay