ストリーム処理エンジン「Zero」の開発と運用
ストリーム処理エンジン「Zero」の開発と運用1. ストリーム処理エンジン「Zero」 開発と運用 佐藤栄一 株式会社サイバーエージェント 技術本部 秋葉原ラボ オレシカナイト第3回 @ 渋谷プライムプラザ (2017/9/27) 2. 技術本部 :: 秋葉原ラボ ● ＠秋葉原 ● 現在30名強が在籍 ○ エンジニア ○ データサイエンティスト ● 共通機能を提供 ○ ログ解析基盤 ○ レコメンド ○ 検索 ○ スパムフィルタ ○ データマイニング ※画像は弊社HPより引用 3. What is Zero ? SELECT count(*) AS foo, sum(`...`) AS bar FROM flume(`.datetime`) DISTINCT ON `.uuid` FOR 10m WHERE ` ... ` GROUP BY `{ user_id: ... }` PARTIT
S3に保存したログファイルをストリーム処理するサーバーレスアプリケーションの紹介 - クックパッド開発者ブログ
インフラストラクチャー部セキュリティグループの水谷(@m_mizutani)です。 クックパッドでは現在セキュリティ監視の高度化に取り組んでおり、その一環としてセキュリティ関連のログ収集およびその分析に力を入れています。ログ収集の部分では可用性などの観点からAWSのオブジェクトストレージサービスであるS3に一部のサービスやサーバのログをまず保存し、後から保存されたファイルを読み込んで分析などに利用しています。分析のためにS3に保存したファイルを前処理する方法としてAWS Glueなどを用いたバッチ処理がありますが、到着したログをなるべくストリームデータのように扱いたい場合もあります。特にセキュリティ関連のログでは以下のようなユースケースで利用しています。 アラートの検出: ログを検査してその中から危険度の高いと考えられるログを探し出し、アラートとして発報します。アラートの具体的な例としては
Amazon Kinesis Data Firehose で Apache Parquet または ORC フォーマットのデータをリアルタイムでストリーミング
Amazon Kinesis Data Firehose で Apache Parquet と Apache ORC フォーマットが追加サポートされるようになりました。これにより、コスト効率の良いストレージと分析のため Amazon S3 に対しリアルタイムのデータをストリーミングできます。 Apache Parquet と Apache ORC は柱状のデータフォーマットで、データをより効果的に、コスト効率良く保存し、クエリを実行できるようになります。これからは、ご使用の Kinesis Data Firehose のストリーム配信を構成し、S3 バケットにデータを配信する前に、Parquet または ORC フォーマットに自動変換するよう設定できます。コーディングの必要はなく、Amazon Athena および Amazon Redshift Spectrum を使用することで S3
DynamoDB StreamをトリガーにしてLambdaを実行する - Qiita
DynamoDB Streamとは DynamoDB Streamは、DynamoDBに対する項目の追加、変更、削除をイベントとして検出できる機能です。DynamoDB Streamを使うことで、項目が追加・変更された時にプッシュ通知を飛ばしたりといった実装が可能になります。今回は、そのイベントをLambdaで受け取ってみたいと思います。 参考：DynamoDB ストリーム を使用したテーブルアクティビティのキャプチャ DynamoDB側でStreamを有効化 先んず、DynamoDBの概要のタブにある「ストリームの管理」から、Streamを有効化します。新旧イメージを選択すると、項目の変更時にLambdaが項目のBefore&Afterの両方を受け取ることができます。 DynamoDB Streamを受け取るためにLambdaに必要な権限 LambdaがDynamoDB Streamを受
スケーラブル tail -f | grep on AWS - KAYAC engineers' blog
こんにちは。組長こと @fujiwara (id:sfujiwara) です。 早速ですが皆さん、ログは見ていますか? 当然見ていますよね。tail -f で追いかけるとか大好きですよね。という前提で話を進めましょう。 この記事は Tech KAYAC Advent Calendar 2016 の24日目の記事です。 TL;DR 多種多様なホストから発生するログの末尾を tail -f で追いかけたい fluentd + ローカルファイルで行うのはちょっと面倒 Amazon Kinesis + Lambda を使ってスケーラブルな仕組みを考えてみた kinesis-tailf というツールも作った 既存の仕組みと問題点 techblog.kayac.com 弊社の Lobi とソーシャルゲームでは、この記事で紹介されたような Fluentd を活用したログ集約の仕組みを整備しています。この
Amazon API GatewayでAWS Service Proxyを使ってKinesis Firehoseにアクセスする | DevelopersIO
Body Mapping Templatesの修正 続けてIntegration RequestのBody Mapping Templatesを修正します。 Kinesis Firehoseに単一レコードを追加するPutRecord APIのリクエストインタックスは次の形をしています。 { "DeliveryStreamName": "string", "Record": { "Data": blob } } API Gatewayに { "Data": "record" } というPOSTリクエストがされた時に、PutRecordのリクエストシンタックスに変換させるように、以下のように記入します。 { "DeliveryStreamName": "YOUR_STREAM_NAME", "Record": { "Data": "$util.base64Encode($input.json(
Kinesis Streamsと別リージョンのFirehoseをLambdaで連携させてみた | DevelopersIO
はじめに AWSチームのすずきです。 AWSがストリーミングデータ向けプラットフォームとして提供するAmazon Kinesis。 2014年に現在のKinesis Streamsがリリースされた後、2015年10月にS3、Redshift、ElastiserchServiceへの自動エクスポートを備えたKinesis Firehose、 2016年8月にはCEP(Complex Event Processing：複合イベント処理）エンジンとしてKinesis Analyticsがリリースされました。 ただ2016年9月現在、東京リージョンで利用する事のできるKinesisはStreamsのみ。 Firehoseと、AnalyticsはUS(オレゴン、バージニア)、EU(アイルランド)リージョンを利用する必要があります。 今回、東京リージョンのKinesis Streamsに届くデータを、
【レポート】AWS Summit Tokyo 2017: AWSでのストリーム処理入門 #AWSSummit | DevelopersIO
『AWS Summit Tokyo 2017』が2017年5月30日(火)〜6月2日(金)、グランドプリンスホテル新高輪 品川プリンスホテル アネックスタワーで開催されています。 当エントリでは、AWS Techトラック 3のセッション、「 AWS でのストリーム処理入門」をレポートしたいと思います。 AWS Summit Tokyo 2017（2017年5月30日～6月2日）｜AWS (2017/06/16追記：)イベント公式の関連資料及び動画が公開されましたので展開します。 AWS Summit Tokyo 2017 セッション資料・動画一覧 | AWS 関連資料(PDF)：ダウンロード 関連動画(YouTube)： スピーカー： 半場 光晴 アマゾン ウェブ サービス ジャパン株式会社 技術統括本部 ソリューションアーキテクト 本講演では、Amazon Kinesis ファミリー（S
Kinesis Client Libraryを実案件でつかってみて - Qiita
Kinesis Client Libraryをつかってみて Kinesis Client Library(KCL)って？ Amazon Kinesisはストリーム処理を行うことができるサービスで、 Kinesis StreamはMessage Queueのような働きをします。 Kinesis Client Libraryは、Amazon Kinesisを利用する上で気を付けなければいけない部分を薄くラップしてくれる便利なライブラリです。 Checkpointを利用したデータのトランザクション処理、再送処理や、 リシャーディングにあわせた処理の並列化などをサポートしてくれます。 詳細はこちら ⇒ Kinesis Client Library 実案件で感じたKinesisを使うメリット データを取得するConsumer側のペースにデータの流入を調整できるため、バックエンドの負荷を調節しやすくな
Apache Kafka（とApache ZooKeeper）をEmbeddedに使う - CLOVER🍀
最近、Apache Kafkaで遊んでいますが、こう使っているとEmbedded（組み込み）で動かしてみたくなるもの。テストとかで 使ったりとか。 なんかできそうだという感じだったので、チャレンジしてみました。 こちらに書いてありましたので。 Unit testing / How do I write unit tests using Kafka? …と思ったのですが、最終的にこちらの内容はあまり使わなくなりました…。 目標 Apache Kafka（とApache Kafkaが必要とするApache ZooKeeperも）を、Unit Testコード内でEmbedddedに動かします。 テストコード内で、Brokerをクラスタ化するところまでを目標にします。 準備 Maven依存関係は、こちら。 <dependency> <groupId>org.apache.kafka</groupI
Karafka (Ruby + Kafka) framework 1.1.0 Release Notes - Closer to Code
Note: These release notes cover only the major changes. To learn about various bug fixes and changes, please refer to the change logs or check out the list of commits in the main Karafka repository on GitHub. Time passes by, Kafka is already 1.0 and Karafka is already 1.1. Code quality I will start from the same thing as with 1.0. We're constantly working on having a better and easier code base. A
vishnuviswanath.com - vishnuviswanath リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Kinesis Firehose のデータ変換を Rust でやってみて速度向上が見込めた話 - ソモサン
概要 Rust コードを Lambda 上で動かせたーと喜んだんですが、活用どころあるんだろうかと考えてみて検証してみました。 結果として Python 比較で1秒当たりで 15 倍ほど多く処理できました。 以下でつらつらと書いていってます。 前提: Lambda の環境について Python比で起動時間に差がない Rust はそこそこバイナリサイズが大きくなります。 前回書いた Kinesis から S3 へ保存するコードも、Lambda のコンソール上で 1MB という数字になってました。 ライブラリ結構使っているとはいえ、やっぱりでかいです。 当然デバッグ情報の削除やならんやらで小さくはなるのですが、 Python なら500 B 程度。 結果として初期の起動速度の差がでてるのかなーと考えてます。 ので、Rust を使うなら起動してすぐ結果をかえす場面でなく、そこそこじっくりと処理す
ストリームでのウィンドウ集計：タンブリング(Tumbling)、ホッピング(Hopping)、スライディング(Sliding)ウィンドウ - 烏滑稽
リアルタイムストリーム処理の話でよく出てくる以下のウィンドウ集計について、パッとわかる日本語の説明がなかったから認識を書いてみた。 各項目最初の2, 3行でつまりなんなのかを説明しようとしているが、それ以降はちょっと細かい話なので混乱したくない場合は見ない方がいいかも。 時間軸での集計前提。 タンブリングウィンドウ集計 (Tumbling Window) ホッピングウィンドウ集計 (Hopping Window) スライディングウィンドウ集計 (Sliding Window) タンブリングウィンドウ集計 一言でいうと「一定時間ごとの集計」。 例えば10秒毎の流れてくるツイートを知りたいといったときにはタンブリングウィンドウ集計を選択することになる。 このウィンドウ関数を起動してから10秒たったらその10秒間のツイート数が、さらにその10秒後にはその10秒間のツイート数が取得できる感じ。 ポ
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Kinesis Data Firehose Quota - Amazon Kinesis Data Firehose
Streaming Architecture with Ted Dunning - Software Engineering Daily
GitHub - sbstjn/serverless-analytics: Track website visitors with Serverless Analytics using Kinesis, Lambda, and TypeScript.
Serverless Analytics with Amazon Kinesis and AWS Lambda
Analyze a Time Series in Real Time with AWS Lambda, Amazon Kinesis and Amazon DynamoDB Streams | Amazon Web Services
Kinesis Analyticsの適用できない用途と、Kinesis Firehoseの苦労話
