Apache Kafka最新アップデート (2023年6月16日版)Apache Kafka Meetup Japan #13の発表資料です。 2023年6月16日(JST)時点での、Apache Kafkaのアップデートやロードマップを紹介しています。
Introducing Kafka Cruise Control Frontend
At LinkedIn, Kafka is the de-facto messaging platform that powers diverse sets of geographically-distributed applications at scale. Examples include our distributed NoSQL store (Espresso), stream processing framework (Samza), monitoring infrastructure (InGraphs), and derived data serving platform (Venice). Given these use cases, it’s not surprising that Kafka usage at LinkedIn has grown exponentia
【OSS情報アーカイブ】Schema Registry | マジセミ
※当記事に記載されている情報は、古くなっている場合があります。オフィシャルサイトで最新情報をご確認ください。 基本情報 概要 Schema Registry(スキーマ レジストリ)とは、メッセージングシステム「Apache Kafka」ベースのストリームデータ基盤「Confluent Platform」の1コンポーネントです。一元的なスキーマ管理機能を提供します。 ストリームデータ基盤「Confluent Platform」とは Confluent Platformとは、大量データを管理可能なストリームデータ基盤です。さまざまなITシステムから集まる構造化されていないものの価値あるデータ群に対して、統一的で容易なアクセスを可能とします。 Confluent Platformは、「Apache Kafka」をコアとして使用し、「Schema Registry」「Rest Proxy」「Cam
Data Integration as Service: Kafka-Connectの紹介と実験 - Qiita
Kafka ConnectはKafkaと周辺のシステム間でストリームデータをやりとりするための通信規格とライブラリとツールです。まずは下の図をご覧ください。 コネクタは周辺のシステムからKafkaへデータを取り込むためのソースと周辺システムへデータを送るシンクの二種類があります。データの流れは一方通行です。すでに何十ものコネクタが実装されており、サポートされている周辺システムは多種に渡ります。もちろん自分でコネクタを作ることもできます。 Kafkaの中を通過するデータの形式は基本的にAvroです。コネクタが周辺システム固有のデータ形式をAvroに変換統一しています。これによりどんなソースとシンクの組み合わせでも動くことになります。 AvroにはSchema Registryがあり、スキーマの変更にも対応できます。 コネクタはスタンドアローンモードと分散モードがあり、分散モードでは複数台のサ
Kafkaアプリケーションのユニットテスト - 烏滑稽
10日0時を回ってしまった気がしますが Distributed Computing Advent Calendar 12/9 分、書いていきます。寝なければセーフ！ Kafkaアプリケーションのユニットテストについてですが具体的な方法ではなく概論のような形になります。 qiita.com Kafkaアプリケーション is 何 今回話すKafkaアプリケーションは、Kafka brokerそのものの上で動くなにかのプログラムではなく、 Kafka brokerに対してconsumeしたりproduceしたりするクライアントアプリケーションのことです。 例えば Kafkaから読んだデータをフィルタリングしたり情報を付加した後に別トピックに書き戻すアプリケーション（ETL） Kafkaから読んだデータを集約して結果をKVSなどに書き出すアプリケーション Kafkaから読んだデータを使って異常検知
Apache Kafka について | ギャップロ
Kafka と ZooKeeper ZooKeeper の詳細 ZooKeeper は、分散アプリケーションのためのオープンソースの分散コーディネーションサービスです。ZooKeeper は Java で動作し、Java と C のためのバインディングが用意されています。 クラスタ (マルチサーバー) セットアップ ZooKeeper は奇数単位でアンサンブルと呼ぶクラスタを組みます。アンサンブルの過半数が動作している必要があるので、奇数台のマシンを使うのがベストです。たとえば 4 台のマシンを使う場合、ZooKeeper が対応できるのはマシン 1 台の障害までです。2 台のマシンに障害が発生すると、残りの 2 台では過半数にならないためです。5 台のマシンを使えば、ZooKeeper はマシン 2 台までの障害に対応できます。 その中の 1 台がリーダー選挙を通して全ての書き込みを調停
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Incremental Cooperative Rebalancing
Hadoop、Spark、ビッグデータ関連書籍 | Tech Blog
Robust Message Serialization in Apache Kafka Using Apache Avro, Part 3 - Cloudera Blog
Integrating Apache NiFi and Apache Kafka
Hortonworks Data in Motion Webinar Series Part 7 Apache Kafka Nifi Better Together