Kafka is dead, long live Kafka
TL;DRWarpStream is an Apache Kafka® protocol compatible data streaming platform built directly on top of S3. It's delivered as a single, stateless Go binary so there are no local disks to manage, no brokers to rebalance, and no ZooKeeper to operate. WarpStream is 5-10x cheaper than Kafka in the cloud because data streams directly to and from S3 instead of using inter-zone networking, which can be
AWS Lambda がイベントソースとしてセルフマネージドの Apache Kafka をサポート
AWS Lambda をご利用のお客様は、任意のインフラストラクチャでホスティングされている、Apache Kafka クラスターからのメッセージによりトリガーされる、アプリケーションを構築できるようになりました。既存の Apache Kafka クラスターは、そのまま継続使用いただけます。加えて、Lambda を使用する Kafka のコンシューマアプリケーションを、簡単に構築することも可能で、その際、サーバーのプロビジョニングや管理の必要はありません。 今回、Lambda では、イベントソースとして Amazon Managed Streaming for Kafka (Amazon MSK) がサポートされるようになりました。Amazon MSK のサポートに加えて、今後、お客様はアプリケーションを構築し、ご自分で管理している Apache Kafka クラスターからトリガーさせ
AWS Lambda が Amazon Managed Streaming for Apache Kafka をイベントソースとしてサポート開始
(注: この投稿は、機能についての明確化を図るために 2021 年 2 月 23 日に更新されました) AWS Lambda が Amazon Managed Streaming for Apache Kafka (Amazon MSK) をイベントソースとしてサポートするようになったため、ストリーミングデータを使用してサーバーレスアプリケーションを構築するための選択肢が増えました。顧客は、インフラストラクチャ管理を気にすることなく、Lambda 関数を使用して Apache Kafka の消費者向けアプリケーションを構築できます。Amazon MSK は、Apache Kafka をストリーミングデータの処理に使用するアプリケーションを簡単に構築および実行できようにする完全マネージド型のサービスです。 Lambda を使用すれば、Amazon Kinesis Data Streams ま
Kafka operator (strimzi)でKubernetes上にNoOpsなメッセージングシステムを実現する - literalice
KafkaとKubernetes メッセージングシステムは昔からいろいろな用途で使われてきましたが、近年のモダンなサービス開発という流れでもその重要性は大きくなっています。 マイクロサービス間の非同期な連携とか、イベントソーシングなアプリのイベントストア、分散システムのログ集約などなど様々ですね。 Kubernetes上でマイクロサービスを作成する場合も、kubernetesクラスタ上にKafkaをインストールしてサクッと使ってみたいものです。 https://medium.com/@ulymarins/an-introduction-to-apache-kafka-and-microservices-communication-bf0a0966d63 しかしKafkaは、Kafkaのプロセスだけでなくzookeeperのクラスタも構築して保守してやる必要があったり、そもそもステートフルだ
インフラエンジニアだけどSparkStreamingとKafkaをつかってアクセスログを集計してみた - Qiita
インフラエンジニアっぽくNginxのアクセスログをリアルタイム集計してみる SampleがScalaが多いのでScalaで書いてみた(初Scala) なうな感じでNginx=>Fluent=>Kafka=>SparkStreaming Scala汚いのはゆるしてね 基本的にWorkCountのsampleをごにょごにょしただけ とりあえず集計してみる Sampleログ こちらを使わせてもらってLTSVのログを用意しました。 最後の行だけ魔改造してます。 puts "time:#{Time.at(now).strftime('%d/%b/%Y:%H:%M:%S %z')}\thost:#{record['host']}\tforwardedfor:#{record['host']}\treq:#{record['method']} #{record['path']} HTTP/1.1\tst
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Event Sourcing, Stream Processing and Serverless (Ben Stopford, Confluent) Kafka Summit SF 2019
Azure Event Hubs for Apache Kafka is now available | Azure updates | Microsoft Azure
Structured Streaming + Kafka Integration Guide (Kafka broker version 0.10.0 or higher) - Spark 3.5.0 Documentation