AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
AWS Announces New Serverless Options for Three Analytics Services
AWS Announces New Serverless Options for Three Analytics Services New serverless options for Amazon Redshift, Amazon MSK, and Amazon EMR help customers analyze data at scale without having to configure, scale, or manage the underlying infrastructure Roche, Riot Games, and Intuit among customers using new serverless analytics options LAS VEGAS--(BUSINESS WIRE)--Nov. 30, 2021-- Today, at AWS re:Inve
Apache Kafka for Microservices
Apache Kafka is one of the most useful OSS for the message hub in micro services and can easily connect various data sources. This feature can be applied to the realization of Transactional Outbox and Strangler Fig patterns.
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
特徴 - Amazon MSK | AWS
Amazon Managed Streaming for Apache Kafka (MSK) は、フルマネージドの Apache Kafka を提供します。Amazon MSK は、サーバーのプロビジョニング、Apache Kafka クラスターの設定、障害時のサーバーの交換、サーバーのパッチとアップグレードのオーケストレート、高可用性のためのクラスターの構築、データの永続的な保存とセキュリティの確保、モニタリングとアラームの設定、負荷変動をサポートするためのスケーリングの実行を行います。マネージドサービスを利用することで、お客様はイベントアプリケーションのストリーミングの開発と実行に時間を費やすことができます。 Amazon MSK は、オープンソースで安全性の高い Apache Kafka クラスターを複数のアベイラビリティーゾーン (AZ) に分散して提供し、耐障害性と可用性の高い
料金 - Amazon MSK | AWS
Apache Kafka ブローカーインスタンス使用量の料金は時間単位で発生します (1 秒ごとに請求)。料金は、ブローカーインスタンスのサイズや、Amazon MSK クラスター内のアクティブなブローカーによって異なります。詳細については、ブローカーインスタンスの料金表をご覧ください。 また、クラスターでプロビジョニングしたストレージの量についての料金もお支払いいただきます。これは、1 時間あたりにプロビジョニングされた GB 数を加算した値を、その月の総使用時間数で除して算出します。これが、料金の例に示されている「GB-月」という値になります。詳細については、ブローカーストレージの料金表をご覧ください。ストレージのスループットを独立にプロビジョニングする選択肢もあり、プロビジョニングする月あたりの MB/s の量で課金されます。これは、ブローカーごとの 1 時間あたりにプロビジョニング
AWSエンジニア入門：Amazon MSKとは | ITエンジニア派遣ならオープンアップITエンジニア
ここではAWS（Amazon Web Service）が行っている「Amazon MSK（Amazon Managed Streaming for Apache Kafka）」というサービスについて簡単に解説します。 このサービスを使うことで、エンジニアや会社はどのようなメリットを得られるのでしょうか？ データストリームの入力を扱うツールに「Apache Kafka」というものがあります。 Apache Kafkaには「セットアップが難しい」「管理しづらい」などの欠点がありますが、Amazon MSKはこのデメリットを解決または軽減してくれるサービスです。 Amazon MSKでできること Amazon MSK を使えば、Apache Kafka の実行や管理をAmazon MSKが自動で行ってくれます。 これによってエンジニアが手を加えたり管理をしたりしなくても、Apache Kafka
Azure HDInsight - Hadoop、Spark、Kafka | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Apache Kafka and Google Cloud Pub/Sub | Jesse Anderson
Blog Summary: (AI Summaries by Summarizes) Apache Kafka, Google Cloud Pub/Sub, and Amazon Kinesis are contenders for Big Data messaging systems.Pub/Sub is a cloud service provided by Google Cloud, while Kafka can be installed on-premises or in the cloud.Kafka can store as much data as needed and supports log compaction, while Pub/Sub stores messages for only seven days and cannot be configured to
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka (MSK) フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
Kafka Streams - Qiita
Kafkaでストリーム処理を書けるようになった 2016/06 時点の最新リリース v0.10 から、Kafkaにストリーム処理のアプリケーションを書くためのライブラリが入った。Kafka本体に同梱されているので追加で何かをインストールする必要はない。このライブラリを使うと、 「KafkaのトピックAにデータが入ってきたら、即座ににそれを処理して別のトピックBに格納する」 というアプリケーションを簡単に作ることができる。なお、Kafkaに同梱されているからといって、Kafka本体、すなわちブローカー側に何か特殊な仕掛けが導入されたわけではない。Kafka Streamは単なるKafkaのクライアントアプリである。別の言い方をすると、Samza とか SparkStreaming とかでできることを、Kafka 本体だけでもできるようになったということができる。 Kafka Streams
Apache Kafka - Wikipedia
Apache Kafka is a distributed event store and stream-processing platform. It is an open-source system developed by the Apache Software Foundation written in Java and Scala. The project aims to provide a unified, high-throughput, low-latency platform for handling real-time data feeds. Kafka can connect to external systems (for data import/export) via Kafka Connect, and provides the Kafka Streams li
Azure Stream Analytics | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
Event Hubs - リアルタイムのデータ インジェスト | Microsoft Azure
Azure を探索 Azure について 安全かつ将来を見据えた、オンプレミス、ハイブリッド、マルチクラウド、エッジのクラウド ソリューションについて調べる グローバル インフラストラクチャ 他のどのプロバイダーよりも多くのリージョンを備える持続可能で信頼できるクラウド インフラストラクチャについての詳細情報 クラウドの経済性 Azure の財務上および技術的に重要なガイダンスを利用して、クラウドのビジネス ケースを作成する 顧客イネーブルメント 実績のあるツール、ガイダンス、リソースを使用して、クラウド移行の明確なパスを計画する お客様事例 成功を収めたあらゆる規模と業界の企業によるイノベーションの例を参照する
kafka-docker でローカルに kafka クラスタを構築する - 駄文型
参考 wurstmeister/kafka-docker: Dockerfile for Apache Kafka Kafka Docker Kafka in Dockerで分散メッセージングシステムを構築する - Qiita 環境 OS X El Captain 10.11.6 docker 17.03.1-ce docker-compose 1.11.2 手順 1. Download kafka-docker $ git clone git@github.com:wurstmeister/kafka-docker.git 2. Update docker-compose.yml docker-compose.yml を編集して zookeeper の Port と KAFKA_ADVERTISED_HOST_NAME を変更します。 version: '2' services: zoo
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - awslabs/kinesis-kafka-connector: kinesis-kafka-connector is connector based on Kafka Connect to publish messages to Amazon Kinesis streams or Amazon Kinesis Firehose.
Introduction · The Internals of Spark SQL
Confluent | Apache Kafka Reinvented for the Cloud
GitHub - kafkaex/kafka_ex: Kafka client library for Elixir
Kafka on Rails: Using Kafka with Ruby on Rails - Part 2 - Getting started with Rails and Kafka - Closer to Code