次世代メッセージング/ストリーミングプラットフォーム Apache Pulsar紹介 ～Apache Kafkaに比べて何が進歩したのか？ - Qiita
次世代メッセージング/ストリーミングプラットフォーム Apache Pulsar紹介 ～Apache Kafkaに比べて何が進歩したのか？streamingKafkadatastaxPulsarAstra はじめに 本稿は、次の３部構成からなります。 Apache Pulsarを扱う前に、メッセージング及びストリーミングテクノロジーの概観からはじめます。 次に、Apache Pulsarの解説に進みます。まずPulsarの歴史や現状の概観について触れた後、アーキテクチャーと機能の説明を行います。 ここでは、Apache Pulsarの特徴をより理解しやすいように、先行して登場した技術である、Apache Kafkaとの比較を用いて説明します。 最後に、本稿でPulsarに興味を保たれた方が、実際にPulsarを利用するための情報を提供します。 なお、本稿は、DB Tech Showcase
Apache Kafkaの概要とアーキテクチャ - Qiita
初版: 2018/9/28 著者: 伊藤 雅博, 株式会社日立製作所 はじめに この投稿ではオープンソースカンファレンス2017.Enterpriseで発表した「めざせ！Kafkaマスター ～Apache Kafkaで最高の性能を出すには～」の検証時に調査した内容を紹介します（全8回の予定）。本投稿の内容は2017年6月にリリースされたKafka 0.11.0 時点のものです。 第1回目となる今回は、Apache Kafkaの概要とアーキテクチャについて紹介します。 投稿一覧： 1. Apache Kafkaの概要とアーキテクチャ (本投稿) 2. Apache KafkaのProducer/Broker/Consumerのしくみと設定一覧 3. Apache Kafkaの推奨構成と性能の見積もり方法 4. Apache Kafkaの性能検証(1): 検証環境とパラメータチューニングの内容
Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと
2019年7月17日、kafka.apache.jpが主催するイベント「Apache Kafka Meetup Japan #7」がLINE株式会社にて開催されました。分散ストリーミングプラットフォーム「Apache Kafka」に関するナレッジや最新情報を共有する本イベント。今回は4人のエンジニアが、自身や自社における知見を語りました。プレゼンテーション「Kafka Broker performance degradation by mysterious JVM pause」に登壇したのは、LINE株式会社の河村勇人氏。ある日Kafkaに起こった突然のパフォーマンス低下とその原因について、解決までの軌跡を語りました。講演資料はこちら Apache Kafkaのパフォーマンス低下とその原因 河村勇人氏：よろしくお願いします。最初に自己紹介をします。河村勇人といいます。 LINEで全社向けの
Apache Kafkaって本当に大丈夫？～故障検証のオーバービューと興味深い挙動の紹介～
2019年3月14日に開催されたHadoop / Spark Conference Japan 2019での講演資料です。
［速報］Google、大手クラウドに不満を表明していたMongoDB、RedisらOSSベンダと戦略的提携。Google CloudにOSSベンダのマネージドサービスを統合。Google Cloud Next '19
［速報］Google、大手クラウドに不満を表明していたMongoDB、RedisらOSSベンダと戦略的提携。Google CloudにOSSベンダのマネージドサービスを統合。Google Cloud Next '19 Googleはサンフランシスコでイベント「Google Cloud Next '19」を開催。4月9日（日本時間4月10日未明）に行ったオープニングキーノートで、MongoDB、Redis、Confluent、Elasticをはじめとするオープンソースソフトウェアベンダとの戦略的提携を発表しました。 提携相手はConfluent、DataStax、Elastic、InfluxData、MongoDB、Neo4j、Redis Labsの7社。 この提携の下で、Googleはオープンソースソフトウェアベンダが提供するマネージドサービスをGoogle Cloudに統合。ユーザーはG
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 1
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 - ログミーTech
LINEの大規模データパイプラインを支える、Apache Kafkaプラットフォームの運用の裏側 Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages 2018年11月21日、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2018」が開催されました。4度目の開催となる今回のテーマは「Next LINE」。メッセージアプリだけでなく、さまざまなサービスの開発や新たな技術領域への投資を行っているLINEが目指すビジョンについて、エンジニアたちの技術的知見や挑戦を通して紹介します。セッション「Multi-Tenancy Kafka cluster for LINE services with 250 billion daily messages
Upgrading Apache Kafka Clients Just Got Easier
This is a very exciting time to be part of the Apache Kafka® community! Every four months, a new Apache Kafka release brings additional features and improvements. We’re particularly excited about the new Streams and Connect features, and exactly-once support. But to get the new stuff, you need to upgrade, and that used to be harder than it is today. In this post, I’ll talk a little bit about the n
Apache Kafka ―入門からTrifectaを用いた可視化まで― - Qiita
過去にインターン先で Apache Kafka という OSS プロジェクトに触れる機会がありました。今回はその時に理解したことをまとめようと思います。 読者対象 Apache Kafka に触れたことがない方が対象です。何をするもので、どう使うのか、ということに関して書きます。内部でどのようにデータが管理されているか、他の OSS との比較などについては記述しません。すでに概要を知っていて、パフォーマンスのチューニング、細かい挙動の詳細などを必要としている方には不要な内容かもしれません。そのような場合は、脳内のキャッシュを利用しながら適宜読み飛ばしていただくことでパフォーマンスの低下を避けていただければと思います。 内容 Kafka の紹介 起動・設定方法 メッセージの送受信 ( Python クライアント利用 ) trifecta を用いて UI から確認 (詳細に関しては省略か、イン
Multitenancy: Kafka clusters for everyone at LINE
Kafka Meetup 2018.04 https://kafka-apache-jp.connpass.com/event/80479/
How to Choose the Number of Topics/Partitions in a Kafka Cluster? | Confluent
This is a common question asked by many Kafka users. The goal of this post is to explain a few important determining factors and provide a few simple formulas for when you are self-managing your Kafka clusters. If you are using Confluent Cloud, most of these operational concerns are taken care of by us here at Confluent. More partitions lead to higher throughput The first thing to understand is th
25K request/secをさばいた「LINEのお年玉」のアーキテクチャの裏側 - LINE ENGINEERING
みなさんこんにちは、LINEのサーバーサイドエンジニアの長谷部です。普段は、最近でいうとLINE Login や LINE Customer Connect などの開発を担当しています。 2018年の年始に LINEのお年玉 というイベントを実施し、その開発を担当しました。今回の記事では、LINEのお年玉のアーキテクチャの紹介や、当日実際に発生した問題(サービス過負荷起因のkafka consumer遅延)などの振り返りについて書こうと思います。 LINEのお年玉とは お年玉イベント期間中に、お年玉とLINEスタンプをセットで「お年玉つきスタンプ」として販売しました。対象スタンプを購入したユーザーさんは、スタンプ購入数 x 10個 のお年玉が付与されます。 こういったメッセージが受信されます ユーザーは自分がもっているお年玉を友だちに直接送ったりグループに送信することができ、お年玉を受け取
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How Real-Time Stream Processing Safely Scales with ksqlDB
Apache Kafka Producer Improvements: Sticky Partitioner
What is the difference in Kafka between a Consumer Group Coordinator and a Consumer Group Leader?
Producer Performance Tuning for Apache Kafka
Kafka Broker performance degradation by mysterious JVM pause
Understanding Kafka with Factorio | HackerNoon
https://www.ospn.jp/osc2017.enterprise/pdf/OSC2017.enterprise_Hitachi_Kafka.pdf
Monitoring Kafka w/ Prometheus
