Kafka is dead, long live Kafka
TL;DRWarpStream is an Apache Kafka® protocol compatible data streaming platform built directly on top of S3. It's delivered as a single, stateless Go binary so there are no local disks to manage, no brokers to rebalance, and no ZooKeeper to operate. WarpStream is 5-10x cheaper than Kafka in the cloud because data streams directly to and from S3 instead of using inter-zone networking, which can be
Amazon Kinesis Data Analytics が Python with Apache Flink v1.11 のサポートを開始
Amazon Kinesis Data Analytics for Apache Flink は、Python バージョン 3.7 を使用して構築されたストリーミングアプリケーションのサポートを開始しました。これにより、Python 言語でストリーミングアプリケーションを記述し、Amazon Kinesis Data Analytics で Apache Flink v1.11 を使用してそれらを実行できます。Apache Flink v1.11 は、データ処理用の統合されたリレーショナル API である Table API を介して Python のサポートを提供します。 Amazon Kinesis Data Analytics は、Apache Flink でストリーミングデータをリアルタイムで変換および分析できる最も簡単な方法です。Apache Flink はオープンソースのフレー
【要約】The world beyond batch: Streaming 102 - Qiita
前回の要約、【要約】The world beyond batch: Streaming 101の元記事の続きである、The world beyond batch: Streaming 102を意訳要約したものになります。 前回と同じく、一気に読んで訳したものですので、相応に粗く、用語の統一も多分ずれがあり、流れがわかればいい内容となっていますので、その前提で。 ただ、コメントは歓迎します。ここにまとめた私自身も理解できていない点が多々あると思いますので。 以後の内容はオライリーの記事のライセンスより、CC BY-NC-SA 1.0になります。 導入 もし前の記事(Streaming 101)を読んでいないなら、まず読むことをお勧めする。 以後の内容を論じる上での前提事項を説明しているし、そこで述べられた内容について相応に理解していることを前提として、本記事は書かれているから。 また、本記事
【要約】The world beyond batch: Streaming 101 - Qiita
少し前の記事になりますが、オライリーにGoogleのTyler Akidau氏がストリーム処理についての記事を投稿していたので要約してみました。 とはいえ、一気に読んで訳したものですので、相応に粗く、用語の統一も多分ずれがあり、流れがわかればいい内容となっていますので、その前提で。 ただ、コメントは歓迎します。ここにまとめた私自身も理解できていない点が多々あると思いますので。 以後の内容はオライリーの記事のライセンスより、CC BY-NC-SA 1.0になります。 ストリーム処理はビッグデータの中での大きな流れになっている。 ビジネスにおいて、よりタイムリーなデータが求められるようになっており、ストリーム処理は低レイテンシを達成するためのいい手段 巨大かつ無限に発生し続ける特性を持つデータは様々なビジネスで生じており、それらのデータに対応が容易 継続してデータを処理し続けるというモデルによ
Spark StreamingのmapWithStateでステートフルな処理をする - Qiita
はじめに この記事はMicroAd Advent Calendar 2017の19日目の記事です． Spark Streamingで状態を扱えたら便利だと思いませんか？ ということで，mapWithStateというメソッドの紹介です． 状態を扱う３つの方法 Spark Streaming単体で状態を扱う方法は下記３つがあります． window: 過去のバッチ処理結果を使って今のバッチ処理を実行する updateStateByKey: バッチ処理を跨ってkey/valueの状態を管理する mapWithState: updateStateByKeyの改良版. Spark 1.6から利用可能 windowは過去の処理結果も踏まえてバッチ実行します．一方，updateStateByKey，mapWithStateは全てのバッチ処理に共通した状態を扱います．（共有変数として扱えます）それぞれ場面に
HTTP Live Video Stream Segmenter and Distributor | IONCANNON
This project is an attempt to make it easier to set up a live streaming server using Apple's HTTP Live Streaming protocol. The source includes a ruby script and a C program that use FFMpeg to encode and segment an input video stream in the correct format for use with the HTTP streaming protocol. You can find the source in the git repository at github. For some background on this project you may wa
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DevLOVE X 20190623 B CloudNative Sue