Introducing Kafka Streams: Stream Processing Made Simple | Confluent
A stream processing application built with Kafka Streams looks like this: Despite being a humble library, Kafka Streams directly addresses a lot of the hard problems in stream processing: Event-at-a-time processing (not microbatch) with millisecond latency Stateful processing including distributed joins and aggregations A convenient DSL Windowing with out-of-order data using a DataFlow-like model
内部データパイプラインへのKafka Streamsの適用 - LINE ENGINEERING
! This post is also available in the following languages. 英語, 韓国語 By Kawamura Yuto | 2016.08.19 2021.01.08LINEでエンジニアとして働いています。Apache Kafka、Apache HbaseなどのOSS技術をベースにLINEの中核的なデータパイプラインとストレージを開発・運営しています。 Kafka Streamsのご紹介 こんにちは。LINEでサーバ開発エンジニアとして働いているYuto Kawamuraです。主にHBase、KafkaといったLINEの中核的なストレージを開発・運営しています。 昨年下期からは、IMF(Internal Message FlowまたはFund)と呼ばれる新規プロジェクトも担当しています。このIMFプロジェクトの目的は大きく2つあります。 内部シ
Flink vs Kafka Streams: A Complete Comparison
This blog post is written jointly by Stephan Ewen, CTO of data Artisans, and Neha Narkhede, CTO of Confluent. Stephan Ewen is PMC member of Apache Flink and co-founder and CTO of data Artisans. Before founding data Artisans, Stephan was leading the development that led to the creation of Apache Flink. Stephan holds a PhD. in Computer Science from TU Berlin. You can also find this post on the data
Fabian Hueske - Stream Analytics with SQL on Apache Flink
SQL is undoubtedly the most widely used language for data analytics for many good reasons. It is declarative, many database systems and query processors feature advanced query optimizers and highly efficient execution engines, and last but not least it is the standard that everybody knows and uses. With stream processing technology becoming mainstream a question arises: “Why isn’t SQL widely suppo
Building Reactive Fast Data & the Data Lake with Akka, Kafka, Spark
In this session, we will discuss: * reactive architecture tenets * distributed “fast data” streams * application and analytics focused Data Lake Enterprise level concerns and the importance of holistic governance, operational management, and a Metadata Lake will be conceptually investigated. The next level of detail will be to explore what a prospective architecture looks like at scale with Teraby
分散ストリーム処理エンジンあれこれ - Qiita
分散ストリーム処理エンジンの群雄割拠の時代 ストリーム処理を実現する分散プラットフォームが、大分増えました。 何が良いか／悪いかは、プラットフォームに求める内容や、関連するエコシステムにも影響するため、一概には言えないですが、Apacheで提供されているOSSとして、情報をまとめたものがあったので、ポイントをまとめたいと思います。 AN OVERVIEW OF APACHE STREAMING TECHNOLOGIES https://databaseline.wordpress.com/2016/03/12/an-overview-of-apache-streaming-technologies/ 特長 ストリーム処理といっても、位置づけが異なるものも一緒くたに書かれているので、位置づけを分類しながら、特長を整理してみます。 データ収集系 ログやイベントを収集するようなタイプ。 Flum
Deep Dive of Flink & Spark on Amazon EMR - February Online Tech Talks
Organizations are demanding increasingly faster tools to process and analyze data in real time. Apache Spark and Apache Flink have emerged as popular, open source frameworks to address these requirements. In this tech talk, we provide an overview of these technologies and the differences between them. We show how you can deploy Apache Spark and Flink on AWS to address common big data use cases suc
Streaming SQL
Streaming is necessary to handle data rates and latency, but SQL is unquestionably the lingua franca of data. Is it possible to combine SQL with streaming, and if so, what does the resulting language look like? Apache Calcite is extending SQL to include streaming, and Apache Apex is using Calcite to support streaming SQL. In this talk, Julian Hyde describes streaming SQL in detail and shows how yo
Spark Streamingを活用したシステムの検証結果と設計時のノウハウ
5. 4© Hitachi, Ltd. 2016. All rights reserved. Node Node Stage (インメモリ処理)Stage (インメモリ処理) Job HDFS 1-1. Sparkは並列分散処理フレームワーク • 複数ノードでクラスタを構成し、並列なデータ読み出し・変換/集約処理・書き込みを行う MapReduceと違い、処理の大半がインメモリで行われるため高速である 分散処理するデータをRDD (Resilient Distributed Dataset: 耐障害性分散データセット) と呼ぶ Task Partition Partition Task Partition Partition Task Partition Partition Task Partition Partition Task Partition Partition Task
Googleが考えるストリームデータ処理とは？ - Qiita
この記事は？ この記事は、ドワンゴ Advent Calendar 2016の14日目の記事です。 この記事で書いている内容は？ Googleが出しているストリームデータ処理の資料を要約したものです。 つまり、「Googleが考えるストリームデータ処理とは？」ということになるかと。 趣味でストリームデータ処理について調べていたのでまとめてみます。 出来るだけよく出てくる固有の言葉を最初から使用せずに書いているつもりですが、 何かわかりにくい場所あればコメントいただけると。 「ストリーム処理」とだけ書くとストリーミング配信等とも微妙に混同しやすいため、 区別のために「ストリームデータ処理」と書いています。 基となっている情報は下記の５つです。 MillWheel: Fault-Tolerant Stream Processing at Internet Scale The Dataflow
Google Cloud Dataflow を理解する - #bq_sushi
4 月 24 日、#bq_sushi での Slava Chernyak によるプレゼンテーションです。
Modern real-time streaming architectures
In this tutorial we walk through state-of-the-art streaming systems, algorithms, and deployment architectures and cover the typical challenges in modern real-time big data platforms and offering insights on how to address them. We also discuss how advances in technology might impact the streaming architectures and applications of the future. Along the way, we explore the interplay between storage
Ameba広告の配信制御アーキテクチャを刷新した話 ~オレシカナイトvol.3~
Yusuke KomaharaCyberAgent, Inc. Software Engineer at CyberAgent.Inc
Kafka Connect ColormeShop でカラーミーショップの受注をリアルタイムに分析する - 暁
最近 Apache Kafka をいじっていて、だいたい概要がわかってきたのでそろそろ自分でコネクタを実装してみようということで作った。 ackintosh/kafka-connect-colormeshop Kafka Connect connector for reading data in real time from ColormeShop 先日、カスタムコネクタの実装を始めるための環境準備について Java/Kafka 初心者が Kafka Connector を実装するための環境づくり にまとめていた。 当記事では、kafka-connect-colormeshop を使ってカラーミーショップの受注をリアルタイムに分析する方法を紹介する。 コネクタの実装について Kafka Connect には Source Connector と Sink Connector があって、今回
Introducing KSQL: Streaming SQL for Apache Kafka | Confluent
ksqlDB is the successor to KSQL. Read the announcement to learn more. To get started with ksqlDB in Confluent Cloud, you can sign up for fully managed Apache Kafka as a service and receive $400 of free usage during your first 60 days, plus an additional $60 of free usage when you use the promo code CL60BLOG.* I’m really excited to announce KSQL, a streaming SQL engine for Apache Kafka®. KSQL lower
Kafka gets SQL with KSQL
Apache Kafka is a key component in data pipeline architectures when it comes to ingesting data. Confluent, the commercial entity behind Kafka, wants to leverage this position to become a platform for the enterprise and today is announcing a milestone on the road to ubiquity: SQL. Getty Images/iStockphoto Streaming is hot. The demand for real-time data processing is rising, and streaming vendors ar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Data Stream Analytics - Why they are important
JVM上でのストリーム処理エンジンの変遷
IoT時代におけるストリームデータ処理と急成長の Apache Flink
GitHub - dgryski/hokusai: hokusai -- sketching streams in real-time