AWS、Aurora MySQLとRedshiftをほぼリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」正式版に。追加料金なしで利用可能
Amazon Web Services（AWS）は、Aurora MySQLとAmazon Redshiftのあいだでデータをほぼリアルタイムに同期する新サービス「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、zero-ETL）が正式版となったことを発表しました。 参考：［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。ze
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］
DynamoDBとAmazon Redshiftなど複数のデータベースを、1つのNewSQL「TiDB」で統合に成功［PR］ 現在、企業で使われているデータベースの主な役割は、会計や経理、受発注管理、製造管理など、社内業務を適切に管理することで経営を支援するためにデータを記録、分析するための基盤でしょう。 しかしそれに加えて現在急拡大しているのが、顧客との取引やコミュニケーションの履歴やアンケート結果、ソーシャルメディアのデータなど、さまざまな種類の膨大なデータを蓄積し分析することで、適切かつ効果的な顧客や顧客候補とのエンゲージメントを実現するためのデータの蓄積と分析基盤としての役割です。 データを活用して企業と顧客とのエンゲージメントを高めるサービス「MicoCloud」を提供するMicoworks社は、まさにこうした新しいデータベース基盤の実現と利用によって急成長している企業の1つです
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
Amazon Aurora MySQLとAmazon Redshiftをニアリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」パブリックプレビュー
Amazon Aurora MySQLとAmazon Redshiftをニアリアルタイムに同期する「Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」パブリックプレビュー Amazon Web Services（AWS）は、Amazon Aurora MySQLのデータをAmazon Redshiftにニアリアルタイムで同期させる新サービス「 Amazon Aurora MySQL zero-ETL integration with Amazon Redshift」（以下、ゼロETL）をパブリックプレビューとして提供開始したことを発表しました。 東京リージョンでも利用可能となっています。 OLTPのデータをほぼリアルタイムに分析可能に Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデ
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
[Redshift]勝手にサマータイム？
RedshiftでCONVERT_TIMEZONE関数を用いてUTC(協定世界時)から日本時間へ変換する処理を実装しています。 ある日、ユーザーからの問い合わせをきっかけに、UTCから日本時間へ正しく変換されていないことが発覚しました。 UTC+10 CONVERT_TIMEZONEの構文は下記の通りです。 CONVERT_TIMEZONE( ['source_timezone',] 'target_timezone', 'timestamp') 日本時間はUTC+9のため、UTCから9時間進んだ値が出力されたらOKです。 しかし、なぜか10時間進んだ値が出力されていたのです…。 サマータイム適用説 公式ドキュメントを改めて確認すると、気になる記述が… タイムゾーン名の使用 タイムゾーン名を使用してタイムゾーンを指定する場合、CONVERT_TIMEZONE は自動的に夏時間 (DST)、
![[Redshift]勝手にサマータイム？](https://cdn-ak-scissors.b.st-hatena.com/image/square/ee0495561edbcff2f8cfb952fa3c11863515448a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--fiw7aIYc--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BRedshift%25255D%2525E5%25258B%25259D%2525E6%252589%25258B%2525E3%252581%2525AB%2525E3%252582%2525B5%2525E3%252583%25259E%2525E3%252583%2525BC%2525E3%252582%2525BF%2525E3%252582%2525A4%2525E3%252583%2525A0%2525EF%2525BC%25259F%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3AJason%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyL2U2NzY2MDY0MDAuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Amazon Redshift now supports Canonical Name (CNAME) or custom domain name, an easy-to-read Domain Name System (DNS) record that routes SQL client connections to either the endpoint of your Amazon Redshift cluster or Amazon Redshift Serverless workgroup. With CNAME, you don’t need to expose your Redshift endpoint in the database connection, which enhances your security and it’s easier to recall and
[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO
AWS事業本部の森田です。 本日より、Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL がプレビューで利用できるようになりました！ ゼロ ETL ゼロ ETLを利用することで、Amazon Redshift から各データベースのデータにアクセスして、ほぼリアルタイムの分析や機械学習が可能となります。 また、「ゼロ」と名前についているように ETL オペレーションを実行する複雑なデータパイプラインの構築なしで上記が実現可能となります。 ゼロ ETL については、昨年の reInvent で発表されたサービスととなっており、Aurora MySQL で一足先に一般提供を開始となっております。 プレビュー対象 以下のデータベース・リージョンで新たにプレビューでの利用
![[速報] Amazon Aurora PostgreSQL, Amazon DynamoDB, Amazon RDS for MySQL で Amazon Redshift とのゼロ ETL が発表されました (Preview) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c0c8f1dccd67ca316ff12f7da2a99cc2164a5d37/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Fimage-2-5.png)
Amazon Redshift announces general availability of row-level security enhancements
Amazon Redshift announces CONJUNCTION TYPE support for row-level security (RLS) policies and RLS support on standard views and late binding views, which enables you to apply granular access controls and ensure that users can only access rows that they are authorized to see, even when the underlying data evolves or user permissions change. RLS support on standard views and late binding views applie
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表
Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合のパブリックプレビューがリリースされました。この機能により、Amazon Aurora MySQL 互換エディションに保存されているペタバイト単位のトランザクションデータに対してほぼリアルタイムの分析と機械学習 (ML) を実行できます。Aurora に書き込まれたデータが数秒以内に Amazon Redshift で利用できるようになるため、複雑なデータパイプラインを構築したり管理したりせずに、データをすばやく処理できます。Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合は、Amazon Aurora Serverless v2 と Provisioned、Amazon Redshift Serverless と RA3 のインスタンスタイプでご
OpenMetadataではデータリネージュ（データの流れ）を可視化できます。 Redshiftではクエリのログを読み込むことでそこから自動的にリネージュ情報を作ることができます。 その流れをやっていこうと思います。 Redshiftのユーザについて OpenMetadataを利用する際はスーパーユーザではないユーザを利用するべきです。 OpenMetadataはデータカタログなので原則Redshift内の実データ書き換えは発生しません。 発生してしまったらかなり怖いです。 よってスーパーユーザの権限はそもそも必要なく、 また、もしも想定外に書き換えがあった時にはきちんと禁止されるように一般のリードオンリーユーザを作成して行います。 また別の理由として、スーパーユーザでは全てのデータにアクセスができてしまい、 Redshift Spectrumを利用するテーブルに対してもクエリをかけること
このスライドは以下のイベントの登壇資料です。 SNOWFLAKE TECHNICAL ROUNDTABLE What’s NEW in Global Technologies 〜グローバルにおけるデータ変革のトレンドをご紹介〜
[速報] Amazon Redshift クエリエディタがAmazon Q generative SQLの新機能が発表されました（プレビュー） #AWSreInvent | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日、re:Invent2023のSwami Sivasubramanianさんのキーノートで、Amazon Redshift は、パブリックプレビューでAmazon Q generative SQL in Amazon Redshift Query Editorという、データから抽出したいことを自然言語で問い合わせして、SQLを生成する新機能が発表されました。 Amazon Q generative SQL in Amazon Redshift Query Editorとは 生成AI（Generative AI）をSQLに応用した生成SQL（Generative SQL）サービスです。具体的には、Amazon Redshift クエリエディタにデータから抽出したいことを自然言語で問い合わせすることで、SQLクエリの推奨事項
![[速報] Amazon Redshift クエリエディタがAmazon Q generative SQLの新機能が発表されました（プレビュー） #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5a1d95ebd2afc0f75b19d65f29d15dd30759556/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2F20231130-amazon-redshift-amazon-q-generative-sql-eyecatch-1200x630-1.png)
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』に部外者ですが参戦している27日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマは『Amazon Redshift』です。 Amazon Redshift とは Amazon Redshiftは、AWSが
[アップデート] Amazon Redshift データレイクテーブル上のマテリアライズドビューの増分更新のサポート (プレビュー) #AWSreInvent | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日より、Amazon Redshift は、パブリックプレビューでRedshift Spectrumによるデータレイクテーブルをソースとしたマテリアライズドビューの増分リフレッシュをサポートしました。 Amazon Redshiftは、Apache Icebergや標準のAWS Glueテーブルをソースとしたマテリアライズドビューの増分リフレッシュをサポートするようになり、SELECTステートメントの再実行やマテリアライズドビュー内のデータの再書き込みを必要とする完全リフレッシュの必要性がなくなりました。 マテリアライズドビューの増分更新のサポートとは Amazon Redshiftのマテリアライズドビューは、クエリの事前計算された結果セットを保存することで、大規模なテーブル、特に集計や複数テーブルの結合でのクエリの実行を
![[アップデート] Amazon Redshift データレイクテーブル上のマテリアライズドビューの増分更新のサポート (プレビュー) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました | DevelopersIO
Amazon Aurora MySQL zero-ETL integration with Amazon Redshiftが一般提供を開始しました！ データアナリティクス事業本部 機械学習チームの鈴木です。 Amazon RedshiftへのAurora MySQL zero-ETLが一般提供を開始しました。東京リージョンでも利用可能です！ Aurora MySQL zero-ETLとは Aurora MySQLからAmazon Redshiftへほぼリアルタイムの連携し、Redshiftでの分析と機械学習ができる、Amazon Aurora MySQL向けの機能になります。 この設定をしておくことにより、データがAuroraに書き込まれてから数秒以内に、そのデータはAmazon Redshiftで利用できるようになるという、非常に強力な機能です。 昨年のre:Invent2022で発表さ
AWS announces support for large language models in Amazon Redshift ML (Preview)
Amazon Redshift enhances Redshift ML to support large language models (LLM). Amazon Redshift ML enables customers to create, train, and deploy machine learning models using familiar SQL commands. Now, you can leverage pretrained publicly available LLMs in Amazon SageMaker JumpStart as part of Redshift ML, allowing you to bring the power of LLMs to analytics. For example, you can make inferences on
Redshiftのメタデータをドキュメント化するツールをdmemoからSchemaSpyに移行した - LIVESENSE ENGINEER BLOG
データプラットフォームグループの毛利です。全社横断のデータ基盤であるLivesense Analytics（以降LA）の開発、運用を行っています。LAではDWHとしてAWS Redshiftを採用しており、社内の誰でも利用できるようにしています。 今回はRedshiftのメタデータ*1をドキュメント化するツールを、dmemoからSchemaSpyに移行した話について紹介していきます。 これまでのドキュメントツール dmemoとは 運用課題 これからのドキュメントツール SchemaSpyとは なぜSchemaSpyを選んだか Schemaspyへの移行で引っかかったこと テーブルコメントの移行 Redshift Spectrumの対応 複数スキーマの対応 おわりに これまでのドキュメントツール dmemoとは LAでは、誰もがデータの内容を理解できるようにするためにメタデータをドキュメント
AWS announces Amazon RDS for MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Relational Database Service (Amazon RDS) for MySQL zero-ETL integration with Amazon Redshift allows you to access transactional data from Amazon RDS for MySQL to run analytics and machine learning (ML) on petabytes of data in Amazon Redshift. With the zero-ETL integration, you don’t need to build and maintain complex data pipelines to perform extract, transform, and load (ETL) operations. T
Amazon DataZone 初期導入から Amazon Redshift 統合の新機能まで解説する！ | DevelopersIO
Amazon DataZone 初期導入から Amazon Redshift 統合の新機能まで解説する！ はじめに クラスメソッドの石川です。Amazon DataZoneは、クラウドサービス間の連携を活かし、Amazon Redshift統合の機能強化により、従来よりも簡単な操作で環境設定ができるようになりました。データガバナンス系のツールは設定が多くなりがちなので、この利便性は多くのユーザーにとって気になるところでしょう。 今回は、Amazon Redshiftのサンプルデータの作成からAmazon DataZoneの初期導入とAmazon Redshift 統合まで解説します。 すでに、Amazon Redshift 導入済みの方は、「Amazon DataZoneの準備」から、Amazon Redshift 統合の機能強化のみご覧いただきたい方は「環境プロファイルを作成」から読み進
[アップデート] Amazon Redshift クエリのパフォーマンスを最適化するための多次元データレイアウトのソートキーをサポート (プレビュー) #AWSreInvent | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日より、Amazon Redshift は、パブリックプレビューで反復的なクエリのパフォーマンスを最適化する新しいテーブルソートメカニズムである多次元データレイアウトのソートキーをサポートしました。 多次元データレイアウトのソートキーとは テーブルの物理列ではなくフィルター述語によってテーブルのデータをソートする新しいタイプのソートキーです。多次元データレイアウトの並べ替えキーにより、特にクエリに反復スキャンフィルターが含まれる場合、テーブルスキャンのパフォーマンスが大幅に向上します。 Amazon Redshiftは、すでに自動テーブル最適化(ATO) によって、自動的にソートキーと分散キーを最適化する機能があります。さらにATOのAmazon Redshiftのソートキーアドバイザーアルゴリズムによって強化された追加機
Implement tag-based access control for your data lake and Amazon Redshift data sharing with AWS Lake Formation | Amazon Web Services
AWS Big Data Blog Implement tag-based access control for your data lake and Amazon Redshift data sharing with AWS Lake Formation Data-driven organizations treat data as an asset and use it across different lines of business (LOBs) to drive timely insights and better business decisions. Many organizations have a distributed tools and infrastructure across various business units. This leads to havin
AWS DMS now supports Amazon Redshift Serverless as a target
AWS Database Migration Service (AWS DMS) now supports Amazon Redshift Serverless as a target endpoint. With this new support, you can securely migrate your data to Redshift Serverless, where it can be stored, queried, and analyzed without the need to provision or manage infrastructure. AWS DMS supports both full load and Change Data Capture (CDC) migration modes for Redshift Serverless. Full Load
Announcing enhanced manageability and usability features for Amazon Redshift Serverless
Today, Amazon Redshift announces enhanced manageability and monitoring for features for Amazon Redshift Serverless, including cross-account cross-VPC, custom domain name(CNAME), snapshot scheduling, cross-region copy (CRC), improved visibility for serverless billing in the Redshift console, and version tracking. These features provide you with seamless data access, robust data protection, and cost
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift announces support for CNAME
OpenMetadataでRedshiftのクエリログからリネージュを作成する | DevelopersIO
BigQuery+RedShiftの経験から見るSnowflakeの真価
AWS入門ブログリレー2024〜 Amazon Redshift 編〜 | DevelopersIO