タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
2019年7月17日、kafka.apache.jpが主催するイベント「Apache Kafka Meetup Japan #7」がLINE株式会社にて開催されました。分散ストリーミングプラットフォーム「Apache Kafka」に関するナレッジや最新情報を共有する本イベント。今回は4人のエンジニアが、自身や自社における知見を語りました。プレゼンテーション「Kafka Broker performance degradation by mysterious JVM pause」に登壇したのは、LINE株式会社の河村勇人氏。ある日Kafkaに起こった突然のパフォーマンス低下とその原因について、解決までの軌跡を語りました。講演資料はこちら Apache Kafkaのパフォーマンス低下とその原因 河村勇人氏：よろしくお願いします。最初に自己紹介をします。河村勇人といいます。 LINEで全社向けの
【Team & Project】LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームを紹介します
LINEの開発組織のそれぞれの部門やプロジェクトについて、その役割や体制、技術スタック、今後の課題やロードマップなどを具体的に紹介していく「Team & Project」シリーズ。 今回は、LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用をしているチームについて紹介します。Z PartチームのWonpill Seo、井出真広、Javier Luca de Tena、河村勇人に話を聞きました。 ―― まず、自己紹介をお願いします。 Wonpill：LINEのMessaging Server開発業務、Apache Kafkaプラットフォームの開発・運用を担当しているZ Partチームでマネージャーとして働いています。 井出：今所属しているZ Partでは、主にMessaging platformで利用しているRedisクラスタの運用やRe
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由 Reliability Engineering Behind The Most Trusted Kafka Platform #2/2 2019年11月20、21日の2日間、LINE株式会社が主催するエンジニア向け技術カンファレンス「LINE DEVELOPER DAY 2019」が開催されました。1日目は「Engineering」をテーマに、LINEの技術の深堀りを、2日目は「Production」をテーマに、Web開発技術やUI/UX、プロジェクトマネジメントなど、より実践的な内容についてたくさんのプレゼンテーションが行われました。「Reliability Engineering Behind The Most Trusted Kafka Platform」に登壇したのはLINE Z
今データを使って何かした方がいいと考えているお客様は多いのではないかと思います。Red Hat の金融セミナーでもこの手のお話があり、マネーソーの登壇者が以下の話をしていました。 義務化されるものがある一方で、オープンバンキングを実装するための様々なアプローチがあるのですが、一貫したテーマが一つあることに気付きました。〜略〜 今や誰もが同じデータへアクセスすることが可能で勘定系システムの中にある貴重なデータに基づいて活動できるのは私だけではありません。ではどうしたら差別化できるでしょうか。〜略〜 その答えとは次のようなものです。 データを使っていますぐ何かした方がよい。〜略〜 データに基づく活動が次の未開拓領域です。 ETL を使っていたときの LinkedIn の課題前提 : アクテビティデータActivity data is one of the newer ingredients i
え、まって。その並列分散処理、Kafkaのしくみでもできるの？ Apache Kafkaの機能を利用した大規模ストリームデータの並列分散処理
Apache Sparkに手を出してヤケドしないための基本 ～「Apache Spark入門より」～ （デブサミ 2016 講演資料）
こんにちは。食べログシステム本部技術部マイクロサービス化チームの @weakboson です。 今年の Advent Calendar では食べログに Debezium と Apache Kafka (以下 Kafka) を導入してレストラン検索インデックス同期システムのパフォーマンスを爆上げした事例を紹介します。 マイクロサービス化チームとは？ 私の所属するマイクロサービス化チームには「巨大なモノリシックサービスにおける開発の辛さを解消し、少人数のチームが自律的に意思決定しながら開発するためのシステム基盤を作る」というミッションがあります。 食べログは2007年に Ruby on Rails でリプレイスしてから約15年の長期にわたって抜本的なアーキテクチャ刷新なしに開発と運用を継続しており、モノリシックで巨大なコード、かつ巨大なデータを持つ状態になっています。正直なところ現在の開発効率
What Every Software Engineer Should Know about Apache Kafka: Events, Streams, Tables, Storage, Processing, And More
To help fellow engineers wrap their head around Apache Kafka and event streaming, I wrote a 4-part series on the Confluent blog on Kafka’s core fundamentals. In the series, we explore Kafka’s storage and processing layers and how they interrelate, featuring Kafka Streams and ksqlDB. In the first part, I begin with an overview of events, streams, tables, and the stream-table duality to set the stag
こんにちは、ソリューションアーキテクトの蒸野（ムシノ）です。 今回は「AMQ Streams」のベースとなっている「Apache Kafka」の超概要を説明をしたいと思います。 Apache Kafka とは 2010年にLinkedInで開発され、2011年にLinkedInから公開されたオープンソースの分散メッセージングシステムです。 Apache Kafkaはストリームデータのために設計された分散システムであり、大量のログやイベントデータなどの大量のデータをハイスループット／低レイテンシで収集・配信することが目的で、スケールアウト、対障害性、分散データストリーム処理やイベントドリブンアプリケーションを可能にします。 Apache Kafka の公式ドキュメントでは次のように示されています。 Apache Kafka is an open-source distributed even
KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum - Apache Kafka - Apache Software Foundation
KIP-500: Replace ZooKeeper with a Self-Managed Metadata Quorum StatusCurrent state: Accepted Discussion thread: here JIRA: KAFKA-9119 - Getting issue details... STATUS Please keep the discussion on the mailing list rather than commenting on the wiki (wiki discussions get unwieldy fast). MotivationCurrently, Kafka uses ZooKeeper to store its metadata about partitions and brokers, and to elect a bro
Apache Flink PlaygroundsでApache FlinkとApache Kafkaによるストリーム処理の雰囲気を感じてみた | DevelopersIO
Amazon Kinesis Data Analyticsでは、Apache Flinkをベースとしたストリーム処理が可能です。 Apache Flink PlaygroundsはFlinkの機能を手早く試せる環境をDocker Composeを使って構築できます。 今回はApache Flinkがどういったものなのかを知る為にApache Flink Playgroundsで遊んでみました。 apache/flink-playgrounds: Apache Flink Playgrounds Apache Flink 1.9 Documentation: Flink Operations Playground Apache Flink Apache Flink is an open source platform for distributed stream and batch data
Apache Kafka is one of the most useful OSS for the message hub in micro services and can easily connect various data sources. This feature can be applied to the realization of Transactional Outbox and Strangler Fig patterns.
GitHub - msfidelis/kafka-stress: CLI Tool to Stress Apache Kafka Clusters
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
How LinkedIn customizes Apache Kafka for 7 trillion messages per day
Open Source How LinkedIn customizes Apache Kafka for 7 trillion messages per day Co-authors: Jon Lee and Wesley Wu Apache Kafka is a core part of our infrastructure at LinkedIn. It was originally developed in-house as a stream processing platform and was subsequently open sourced, with a large external adoption rate today. While many other companies and projects leverage Kafka, few—if any—do so at
OpenShiftの内部レジストリって何？/What's OpenShift Image Registry
IoTや機械学習などのデータ処理を支える新基盤 Apache Kafkaは分散処理の基盤として開発されたオープンソースのプラットフォームです。従来からあるメッセージングサービスを元に新しい分散処理を実現します。独自のアーキテクチャで処理の流れを定義して多数のコンピュータをまとめ上げ、IoTや機械学習に求められる非常に大きなデータ処理を実現できます。 本書では、Apache Kafkaについて次のような解説を行います。 ・Kafkaが生まれた背景と特徴、その機能や原理について ・Kafkaのインストールと利用のための基本 ・開発のポイント ・Kafkaを適用できるさまざまなシステムをパターン別に解説 ・業務での活用を前提としたインテグレーションのポイントを紹介 本書ではさまざまな分野での活用が期待されるApache Kafkaの基礎を、現場を知るエンジニアの書下ろしで紹介します。ソフトウェア
GitHub - line/decaton: High throughput asynchronous task processing on Apache Kafka
Decaton is a streaming task processing framework built on top of Apache Kafka. It is designed to enable "concurrent processing of records consumed from one partition" which isn't possible in many Kafka consumer frameworks. Here is the list of property that Decaton enables by default: Concurrent (either multi-threaded or asynchronous) processing of records consumed from one partition Preserve order
Microservices, Apache Kafka, and Domain-Driven Design | Confluent
Microservices have a symbiotic relationship with domain-driven design (DDD)—a design approach where the business domain is carefully modeled in software and evolved over time, independently of the plumbing that makes the system work. I see this pattern coming up more and more in the field in conjunction with Apache Kafka®. In these projects, microservice architectures use Kafka as an event streami
top_entry 最も年収を稼げるスキルは「Apache Kafka」、年収上昇率が高いのは「Swift」 米国エンジニアの報酬をまとめた「The Dice 2020 Tech Salary Repot」 米国の求人サービス「Dice」が、米国エンジニアの報酬をまとめた「「The Dice 2020 Tech Salary Repot」を公開している。 このレポートに掲載されているのは、米国のエンジニアの報酬についてだが、勤務地だけでなく、職種やスキル別の報酬も掲載され、さらに昨年からの伸び率のランキングも掲載されている。あくまでも、米国の統計なので、そのまま日本に当てはまるわけではないが、職種別、スキル別の報酬ランキング、伸び率ランキングは、今後のキャリア設計にとって大きな参考となるはずだ。 伸び率が大きい都市はコロンバスとセントルイス まずは、都市別の報酬ランキングから。誰もが予想す
Kafka講座2：Apache Kafkaの分散処理のしくみ
Kafka講座2：Apache Kafkaの分散処理のしくみ NTTデータ システム技術本部 デジタル技術部 佐々木 徹 【本映像の前に、ぜひこちらをご覧ください】 「Kafka講座1：15分でわかる Apache Kafka の概要」 https://www.youtube.com/watch?v=84DAkzetyRk
Knative Eventing with Apache Kafka & Camel K Quarkus - 赤帽エンジニアブログ
こんにちは、小杉です。 前回ご紹介した Knative Serving に引き続き、Apache Kafka & Camel K Quarkus を使った Knative Eventing をご紹介します。 medium.com Apache Kafka & Ceph による Knative Eventing Red Hat ではソフトウェア開発者向けの情報を Webinar で配信しています。 来週 5/21(木) はサーバーレスの内容も含んだ 「マイクロサービス/サーバーレス入門」が配信される予定です。 また 5/28(木) には「これからのシステム連携を実現するデジタル基盤とアプローチ」を配信する予定です。 見逃した方もオンデマンドで視聴できるようになっているので是非登録してご覧ください。
Accessing Apache Kafka in Strimzi: Part 1 – Introduction | Red Hat Developer
Strimzi is an open source project that provides container images and operators for running Apache Kafka on Kubernetes and Red Hat OpenShift. Scalability is one of the flagship features of Apache Kafka. It is achieved by partitioning the data and distributing them across multiple brokers. Such data sharding has also a big impact on how Kafka clients connect to the brokers. This is especially visibl
Modern Open Source Messaging: Apache Kafka, RabbitMQ, NATS, Pulsar and NSQ
Modern Open Source Messaging: NATS, RabbitMQ, Apache Kafka, hmbdc, Synapse, NSQ and Pulsar # NATS: Ruby then Go https://nats.io/ https://github.com/nats-io/nats-streaming-server NATS was originally built with Ruby and achieved a respectable 150k messages per second. The team rewrote it in Go, and now you can do an absurd 8–11 million messages per second. It works as a publish-subscribe engine, but
関連キーワード Apache | アプリケーション開発 | データ オープンソースのメッセージキュー／ストリーム（連続的に発生し続けるデータ）処理ミドルウェア「Apache Kafka」（以下、Kafka）は、イベント駆動型アプリケーションの実現に役立つ。前編「医療機関がコロナ対策に『Apache Kafka』を活用 ストリーム処理の実力は」は、Kafkaを活用する米国疾病管理予防センター（CDC：Centers for Disease Control and Prevention）の取り組みを紹介した。 小売業者Walmart（ウォルマート）もKafkaを使用する企業の一社で、不正検出などのさまざまなアプリケーションにKafkaを利用している。同社のシニアソフトウェアエンジニアであるナビンダー・パル・シング・ブラー氏は、Kafkaに関するオンラインカンファレンス「Kafka Summit
カフカはデータベースの夢をみるか - あるいはApache Kafkaの双対性という思想とksqlDBについて
Apache Kafka Meetup Japan #9 登壇資料
Best practices for right-sizing your Apache Kafka clusters to optimize performance and cost | Amazon Web Services
AWS Big Data Blog Best practices for right-sizing your Apache Kafka clusters to optimize performance and cost Apache Kafka is well known for its performance and tunability to optimize for various use cases. But sometimes it can be challenging to find the right infrastructure configuration that meets your specific performance requirements while minimizing the infrastructure cost. This post explains
Apache Kafkaによるログ転送とパフォーマンスチューニング - Bonfire Backend #2 -
Bonfire Backend #2 ( https://yj-meetup.connpass.com/event/107235/ ) での発表資料です。Read less
[AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開 先日 (2019/11/20) 開催しました AWS Black Belt Online Seminar「 Amazon Managed Streaming for Apache Kafka (Amazon MSK) 」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20191120 AWS Black Belt Online Seminar Amazon Managed Streaming for Apache Kafka (Amazon MSK) AWS クラウドサービス活用資料集（すべての過去資料が
![[AWS Black Belt Online Seminar] Amazon Managed Streaming for Apache Kafka (Amazon MSK) 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/7ca7981e20bc3f0eabe51d7f95a0c6aace6fed42/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2019%2F11%2F27%2FThumbnail-1128x630.png)
[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO
Apache Kafkaとは Apache Kafkaとは、Linkedinが開発した分散メッセージキューで、 データストリーミング用のプラットフォームです。 メッセージキューとは、システム間でデータのハブととして機能し、 対象データを一時的に保持してくコンポーネントです。 キューをはさむことでシステム間を疎結合にし、通信を非同期化することができます。 AWSでいえば、sqsやkinesisが同様のサービスにあたります。 Apache Kafkaはスケーラビリティや大量データの扱いに長けており、耐障害性もあるスグレモノです。 本稿ではApache Kakfaとnode.js用モジュールのkafka-nodeとkafka-streamsをつかって node.jsからkafkaへアクセスしてみます。 Amazon Kinesisとの比較 以前はAWSフルマネージド(kinesis)かどうか、と
![[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b07b7c6bbbd77094a43e44f45030ff3684657c12/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fapache-kafka.png)
GitHub - provectus/kafka-ui: Open-Source Web UI for Apache Kafka Management
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - rayokota/kareldb: A Relational Database Backed by Apache Kafka
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Apache Kafkaをインストールして、コマンドラインツールを試す - abcdefg.....
Apache Kafkaをインストールして、produce, consumeしてみたメモです。 Apache Kafkaをインストールして、コマンドラインツールからproduce, consumeを試して動作確認してみました。 kafkaは色々な使い方が出来、設定もたくさんありますが、とりあえずデフォルトの設定で試してみます。 下記バージョンで試してみます。 kafka 2.0.0 zookeeper 3.4.13 Ubuntu 16 Java 1.8.0_181 O'Reilly本を基本に下記サイトを参考にしました。 https://kafka.apache.org/ https://kafka.apache.org/quickstart zookeeper install Kafkaではzookeeperでメタデータを管理してるので、先にzookeeperをインストールします。 htt
■ この記事は何か こんにちは 👋 今回は、Apache Kafka を使ったサービス間でも分散トレーシングしましょう！について記事にまとめました。トレーシングの計装には OpenTelemetry（以下、Otel）を使っています。Kafka や Otel については他の記事に任せて、本記事ではトレーシングの仕組み / 計装にフォーカスを当てようと思います。 Kafka Producer（Msg を送信するひと）と Kafka Consumer（Msg を受信するひと） の間のやりとりを、一気通貫でトレースできることがゴールとなります👶 producer 側 と consumer 側のトレース。Jaeger で可視化。 ■ Propagator について 分散トレーシングをする際には、サービス間をトレース情報を伝播させる必要があります。 Otel では Propagators API（
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache Kafkaで発生した原因不明のパフォーマンス低下と、それを解決するためにやったこと
Apache Kafkaのトラブルシューティングに見る、LINEが“根本的な”原因究明を大切にする理由
Apache Kafka が生まれた理由
食べログのレストラン検索を支える Debezium と Apache Kafka - Qiita
Apache Kafka 超入門 - 赤帽エンジニアブログ
Apache Kafka for Microservices
Apache KafkaとKubernetes / Kafka and K8s
Apache Kafka 分散メッセージングシステムの構築と活用 | 翔泳社
最も年収を稼げるスキルは「Apache Kafka」、年収上昇率が高いのは「Swift」
ウォルマートが「Apache Kafka」に貢献してまで克服したかった“壁”とは
Apache Kafka を使った非同期処理で分散トレーシングをする with OpenTelemetry
www.iezo.net
anond.hatelabo.jp
fukagawa1953.hatenablog.com
www.theatrum-mundi.net
mainichi.jp
okinawasoba.hatenablog.com