Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について | Amazon Web Services
Amazon Web Services ブログ Amazon Redshift の新機能 — Kinesis データストリームのストリーミングインジェスト、および Managed Streaming for Apache Kafka の一般提供について 10 年前、私が AWS に入社してからわずか数か月後に、Amazon Redshift はローンチされました。長年にわたり、パフォーマンスを向上させ、使いやすくするために多くの機能が追加されてきました。Amazon Redshift では、SQL を使用して、データウェアハウス、運用データベース、データレイクにわたって構造化データと半構造化データを分析できるようになりました。最近では、データウェアハウスインフラストラクチャを管理しなくても簡単に分析を実行およびスケーリングできるように、Amazon Redshift サーバーレスが一般公開
ストリーミング取り込み - Amazon Redshift
ストリーミング取り込みでは、Amazon Kinesis Data Streams および Amazon Managed Streaming for Apache Kafka から Amazon Redshift Serverless でプロビジョニングされたビューまたは Amazon Redshift マテリアライズドビューにストリームデータを低レイテンシーかつ高速で取り込むことができます。データアクセスにかかる時間を短縮し、ストレージコストを削減することができます。Amazon Redshift でのマテリアライズドビューの作成 で説明されているように、Amazon Redshift クラスターまたは Amazon Redshift Serverless にストリーミング取り込みを設定することで、SQL ステートメントを使用して、マテリアライズドビューを作成することができます。その後、
AWSのストリーム処理向けメッセージングサービスKDS(Kinesis)・MSK(Kafka)・SQSの特徴 - Qiita
著者: 伊藤 雅博, 株式会社日立製作所 はじめに AWSでストリーム処理を実現する際は、データをキューイングするメッセージングサービスと、キューイングしたデータをストリーム処理するサービスを組み合わせることが一般的です。本投稿では、AWSが提供する各メッセージングサービスのうち、ストリームデータを扱う際によく活用されている下記サービスの特徴を紹介します。 Amazon Kinesis Data Streams (KDS) Amazon Managed Streaming for Apache Kafka (MSK) Amazon Simple Queue Service (SQS) なお、本投稿の内容は2020年中頃の調査結果をベースに、いくつか更新を加えたものです。AWSのサービス仕様は随時更新されるため、最新の仕様とは異なる場合があります。最新の情報はAWSの公式ドキュメントをご参照
AWS Announces New Serverless Options for Three Analytics Services
AWS Announces New Serverless Options for Three Analytics Services New serverless options for Amazon Redshift, Amazon MSK, and Amazon EMR help customers analyze data at scale without having to configure, scale, or manage the underlying infrastructure Roche, Riot Games, and Intuit among customers using new serverless analytics options LAS VEGAS--(BUSINESS WIRE)--Nov. 30, 2021-- Today, at AWS re:Inve
AWS での Apache Kafka の実行のためのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ AWS での Apache Kafka の実行のためのベストプラクティス この記事は Intuit とのパートナーシップに基づいて書かれ、AWS で Apache Kafka クラスタを実行するための学習、ベストプラクティス、推奨事項を共有するものです。Intuit の Vaishak Suresh と同氏の同僚の方々の貢献とサポートに感謝いたします。 Intuit の概要: Intuitは、AWS のエンタープライズ顧客のリーダーであり、ビジネスと財務管理ソリューションのクリエーターです。Intuit の AWS とのパートナーシップに関する詳細については、以前のブログ記事 Real-time Stream Processing Using Apache Spark Streaming and Apache Kafka on AWSを参照し
特徴 - Amazon MSK | AWS
Amazon Managed Streaming for Apache Kafka (MSK) は、フルマネージドの Apache Kafka を提供します。Amazon MSK は、サーバーのプロビジョニング、Apache Kafka クラスターの設定、障害時のサーバーの交換、サーバーのパッチとアップグレードのオーケストレート、高可用性のためのクラスターの構築、データの永続的な保存とセキュリティの確保、モニタリングとアラームの設定、負荷変動をサポートするためのスケーリングの実行を行います。マネージドサービスを利用することで、お客様はイベントアプリケーションのストリーミングの開発と実行に時間を費やすことができます。 Amazon MSK は、オープンソースで安全性の高い Apache Kafka クラスターを複数のアベイラビリティーゾーン (AZ) に分散して提供し、耐障害性と可用性の高い
料金 - Amazon MSK | AWS
Apache Kafka ブローカーインスタンス使用量の料金は時間単位で発生します (1 秒ごとに請求)。料金は、ブローカーインスタンスのサイズや、Amazon MSK クラスター内のアクティブなブローカーによって異なります。詳細については、ブローカーインスタンスの料金表をご覧ください。 また、クラスターでプロビジョニングしたストレージの量についての料金もお支払いいただきます。これは、1 時間あたりにプロビジョニングされた GB 数を加算した値を、その月の総使用時間数で除して算出します。これが、料金の例に示されている「GB-月」という値になります。詳細については、ブローカーストレージの料金表をご覧ください。ストレージのスループットを独立にプロビジョニングする選択肢もあり、プロビジョニングする月あたりの MB/s の量で課金されます。これは、ブローカーごとの 1 時間あたりにプロビジョニング
AWSエンジニア入門：Amazon MSKとは | ITエンジニア派遣ならオープンアップITエンジニア
ここではAWS（Amazon Web Service）が行っている「Amazon MSK（Amazon Managed Streaming for Apache Kafka）」というサービスについて簡単に解説します。 このサービスを使うことで、エンジニアや会社はどのようなメリットを得られるのでしょうか？ データストリームの入力を扱うツールに「Apache Kafka」というものがあります。 Apache Kafkaには「セットアップが難しい」「管理しづらい」などの欠点がありますが、Amazon MSKはこのデメリットを解決または軽減してくれるサービスです。 Amazon MSKでできること Amazon MSK を使えば、Apache Kafka の実行や管理をAmazon MSKが自動で行ってくれます。 これによってエンジニアが手を加えたり管理をしたりしなくても、Apache Kafka
[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO
本記事はAWS re:Invent 2018のSession「ANT398 - [NEW LAUNCH!] Introducing Amazon Managed Streaming for Kafka (Amazon MSK)」のレポートです。 re:Invent 中に発表された Apache Kafka のフルマネージドサービス「Amazon Managed Streaming for Kafka (Amazon MSK)」の入門セッションです。 セッションについて スピーカー Damian Wylie - Principal Product Manager 概要 Discover the power of running Apache Kafka on a fully managed AWS service. In this session, we describe how Amazo
![[レポート]ANT398 – Amazon Managed Streaming for Kafka (Amazon MSK)入門 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/69d5e5df38c6d27d133baa3f894a2379a68db070/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2018%2F11%2Feyecatch_reinvent-2018-city_1200x630.jpeg)
Amazon MSK - Amazon Web Services (AWS)
Amazon Managed Streaming for Apache Kafka (MSK) フルマネージド型で可用性が高い Apache Kafka サービスでデータを安全にストリーミングする
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
