Amazon Redshift launches the preview of auto-copy support to simplify data loading from Amazon S3 into Amazon Redshift. You can now setup continuous file ingestion rules to track your Amazon S3 paths and automatically load new files without the need for additional tools or custom solutions. Amazon Redshift customers run COPY statements to load data into their local tables from various data sources
Amazon Redshift announces support for Dynamic Data Masking (Preview)
Amazon Redshift already supports role-based access control, row-level security, and column-level security to enable organizations to enforce fine-grained security on Redshift data. Amazon Redshift now extends these security features by supporting Dynamic Data Masking (DDM) that allows you to simplify the process of protecting sensitive data in your Amazon Redshift data warehouse. With Dynamic data
Redshift Serverless について見かけた課題と対応策（2022年7月19日時点）をまとめました。GitHubリポジトリ「Awesome Redshift JP」にまとめた内容の転記です。 概要 プレビュー料金に見える→金額あってそう 名前空間やワークグループの削除エラー→英語表示 ProvisionedとAPIが違う→ラッパーを使う 時間課金でストリーミング不向き→二台構成 or マイクロバッチ化 Redshift Serverless の料金表が「プレビュー」のままに見える（2022年7月19日時点） 日本語だと「プレビュー」の記載がありますが、英語だとPreviewの記載は外れています。 料金表の内容も同じなので、日本語の翻訳が間に合っていないようです。 日本語の料金表: 英語の料金表: Redshift Serverless の名前空間やワークグループの削除ができない
[新機能] Amazon Redshift 半構造化データをテーブルに直接保存できる新しいデータ型『SUPER』がGAになりました | DevelopersIO
[新機能] Amazon Redshift 半構造化データをテーブルに直接保存できる新しいデータ型『SUPER』がGAになりました データアナリティクス事業本部コンサルティングチームの石川です。AWS re:Invent 2019で発表されたJSON や Nested Parquet などの半構造化データをローカルテーブルに直接取り込み、分析可能が可能になる新しいデータ型SUPERも遂にGA（Generally Available）になりました。早速試してみます。 半構造化データはSUPER型のカラムにそのまま格納し、SUPER型のデータとPartiQL言語を使用して、データウェアハウス機能を拡張し、SQLとNoSQLの両方のデータソースと統合します。このようにして、Redshiftは、JSONなどのリレーショナルおよび半構造化された保存データの効率的な分析を可能にします。 ※ 以降の解説
![[新機能] Amazon Redshift 半構造化データをテーブルに直接保存できる新しいデータ型『SUPER』がGAになりました | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
同時実行スケーリング機能を使用すると、一貫した高速のクエリパフォーマンスで、数千の同時ユーザーと同時クエリをサポートできます。 同時実行スケーリングが有効になっている場合、Amazon Redshift は自動的に新たなクラスターキャパシティーを追加し、読み取りと書き込み両方でクエリの増加に対応します。クエリをメインクラスターと同時実行スケーリングクラスターのどちらで実行しても、ユーザーには最新のデータが表示されます。同時実行スケーリングクラスターは、実際に実行した時間分のみ課金されます。料金の詳細については、Amazon Redshift 料金表を参照してください。 WLM キューを設定することで、どのクエリを同時実行スケーリングクラスターに送信するかを管理します。同時実行スケーリングを有効にすると、対象となるクエリはキュー内に待機することなく、同時実行スケーリングクラスターに送信される
Provisioned Redshift クラスターのノードタイプとノード数をワークロードに合わて選択する方法を教えてください | DevelopersIO
困っていた内容 プロビジョニングされた Redshift クラスターを利用する予定なのですが、ワークロードに合わせたノードタイプとノード数を見積もる方法はありますか？ あまりオーバースペックにはしたく無いので、ある程度の基準が分かると助かります。 結論 マネジメントコンソール上で Provisioned Redshift クラスターを作成する際に、「クラスターのサイズを選択する」の項目で「選択のヘルプ」をご利用ください。 クラスターの作成 クラスターのサイズがわからない場合は、[Help me choose (選択ヘルプ)] を選んでください。これにより、データウェアハウスに保存する予定のデータのサイズとクエリの特性について質問するサイジング計算ツールが起動されます。 やってみた 1. マネジメントコンソール上で、サービス Amazon Redshift を選択した後に、画面左ペインで「プ
【速報】Amazon Redshift Federated QueryでRDS MySQLとAurora MySQLに直接クエリを実行できるようになりました(Preview) #reinvent | DevelopersIO
昨年のre:Invent2019で発表されたAmazon RedshiftのFederated Queryが、RDS MySQL と Aurora MySQLをサポートしました。(Preview) これで、Amazon RedshiftとAthenaからRDSやAuroraのPostgreSQLとMySQLに直接クエリが実行できるようになりました。 Amazon Redshift Federated Queryとは RDS MySQL と Aurora MySQLのテーブルにRedshiftから直接アクセスできるようになりました。いわゆる、RedshiftからMySQLに対してデータベースリンクする機能です。 RDS PostgreSQL と Aurora PostgreSQLは既に利用可能です。Federated Queryの仕組みについては、以下のブログをご覧ください。 Federat
ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 | Amazon Web Services
AWS Big Data Blog ETL and ELT design patterns for lake house architecture using Amazon Redshift: Part 1 New: Read Amazon Redshift continues its price-performance leadership to learn what analytic workload trends we’re seeing from Amazon Redshift customers, new capabilities we have launched to improve Redshift’s price-performance, and the results from the latest benchmarks. Part 1 of this multi-pos
OpenMetadataではデータリネージュ（データの流れ）を可視化できます。 Redshiftではクエリのログを読み込むことでそこから自動的にリネージュ情報を作ることができます。 その流れをやっていこうと思います。 Redshiftのユーザについて OpenMetadataを利用する際はスーパーユーザではないユーザを利用するべきです。 OpenMetadataはデータカタログなので原則Redshift内の実データ書き換えは発生しません。 発生してしまったらかなり怖いです。 よってスーパーユーザの権限はそもそも必要なく、 また、もしも想定外に書き換えがあった時にはきちんと禁止されるように一般のリードオンリーユーザを作成して行います。 また別の理由として、スーパーユーザでは全てのデータにアクセスができてしまい、 Redshift Spectrumを利用するテーブルに対してもクエリをかけること
[AWS Black Belt Online Seminar] Amazon Redshift 運用管理 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Redshift 運用管理 資料及び QA 公開 先日 (2021/01/27) 開催しました AWS Black Belt Online Seminar「Amazon Redshift 運用管理」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20210127 AWS Black Belt Online Seminar Amazon Redshift 運用管理 AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. redchift は S3 にある元データを変更しないことが保証されていますか？ A. 明示的にオプションを指定しない限り保証されます。Amazon Redshift が S3 にデータ
[新機能] Amazon Redshift SHOW TABLE及びSHOW VIEWコマンドによるDDL表示をサポートしました | DevelopersIO
[新機能] Amazon Redshift SHOW TABLE及びSHOW VIEWコマンドによるDDL表示をサポートしました データアナリティクス事業本部コンサルティングチームの石川です。Redshiftは、SHOW TABLE及びSHOW VIEWコマンドを使用してDDLを表示するユーティリティを標準でサポートするようになりました。早速、どんな感じで、どこまで使えるのか試してみます。 SHOW TABLE コマンド 構文 SHOW TABLE table_name TABLE定義の表示 例えば、categoryテーブルのDDLは、以下のように表示できます。 cmdb=# show table category; Show Table DDL statement ------------------------------------------------ CREATE TABLE
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO
[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ データアナリティクス事業本部のコンサルティングチームの石川です。AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートってなんだろう？、と最初思ったのですが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことでした。当時、すぐに試したのですがうまくできなかったので自分にとってはリベンジブログとなります。 新しいネイティブAmazon Redshift機能とは 冒頭でも触れましたが、re:Invent2022で発表されたAmazon Redshift integration for Apache Sparkのことです。よりGlue
![[新機能] AWS Glue Visual ETL がネイティブ Amazon Redshift 機能をサポートしたので試してみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/1a9787910c80cfa6330ba76938cc339ce203e246/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F08%2Faws-glue.png)
[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO
データアナリティクス事業本部コンサルティングチームの石川です。これまでのRedshift （Provisioned Cluster）が持つ全て機能と接続性を備えたその名の通り、インスタンスを持たないサーバレスなRedshift Serverless（Preview）が登場しました。 弊社では、Redshift ServerlessのPrivate Previewの段階から、AWS様と連携して事前に技術検証やフィジビリティについてフィードバックさせていただきました思い入れの深いサービスであり、Amazon.comのプレスリリースでも私のコメントを紹介させて頂いております。 Amazon RedshiftのVP(Vice President)であるYan LeshinskyさんとプリンシパルプロダクトマネージャーであるNeeraja Rentachintalaさんによる2021/12時点の最新
![[レポート] (New Launch) Introducing Amazon Redshift Serverless #reinvent2021 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/6c34adaa8e4bd8be879944c6e7f70fd99661e5e3/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2021%2F11%2Feyecatch_reinvent2021_sessionreport.png)
[アップデート] わずか15分！Redshift クラスターのノードタイプ変更が Elastic resize で可能になりました！ | Developers.IO
本日のアップデートで Redshift クラスターのタイプ変更が Elastic resize で可能になりました。 Amazon Redshift now supports changing node types within minutes with elastic resize 来るのかなー、と思って待ってましたが遂にきましたね！ お。Elastic resize がインスタンスタイプ変更でも使えるようになりそう > Aws\Redshift - Extend elastic resize to support resizing clusters to different instance types. https://t.co/qOB89xUQT7 — Marumo (@marumo1981) February 22, 2020 何が嬉しいのか 従来、Elasitic resize
このスライドは以下のイベントの登壇資料です。 SNOWFLAKE TECHNICAL ROUNDTABLE What’s NEW in Global Technologies 〜グローバルにおけるデータ変革のトレンドをご紹介〜
Amazon Redshift now includes Amazon RDS for MySQL and Amazon Aurora MySQL databases as new data sources for federated querying (Preview)
We announced general availability of Amazon Redshift federated query with support for Amazon RDS PostgreSQL and Amazon Aurora PostgreSQL earlier this year. With this feature, many customers have been able to combine live data from operational databases with the data in Amazon Redshift data warehouse and the data in Amazon S3 data lake environment in order to get unified analytics view across all t
Announcing Amazon Redshift federated querying to Amazon Aurora MySQL and Amazon RDS for MySQL | Amazon Web Services
AWS Big Data Blog Announcing Amazon Redshift federated querying to Amazon Aurora MySQL and Amazon RDS for MySQL Since we launched Amazon Redshift as a cloud data warehouse service more than seven years ago, tens of thousands of customers have built analytics workloads using it. We’re always listening to your feedback and, in April 2020, we announced general availability for federated querying to A
[AWS Black Belt Online Seminar] Amazon Redshift 資料及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ [AWS Black Belt Online Seminar] Amazon Redshift 資料及び QA 公開 先日 (2020/03/18) 開催しました AWS Black Belt Online Seminar「Amazon Redshift」の資料を公開しました。当日、参加者の皆様から頂いた QA の一部についても共有しております。 20200318 AWS Black Belt Online Seminar Amazon Redshift AWS クラウドサービス活用資料集（すべての過去資料が閲覧できます） Q. どういった場合に行指向ストレージが向いているのでしょうか？（逆に言えば、Redshiftでの処理に向いていないクエリはあるのでしょうか） A. 多数のショートトランザクションが中心となるような場合に行指向ストレージが
![[AWS Black Belt Online Seminar] Amazon Redshift 資料及び QA 公開 | Amazon Web Services](https://cdn-ak-scissors.b.st-hatena.com/image/square/80c9f188a92e7e939318d24518e34bd14dc65fad/height=288;version=1;width=512/https%3A%2F%2Fd2908q01vomqb2.cloudfront.net%2Fb3f0c7f6bb763af1be91d9e74eabfeb199dc1f1f%2F2020%2F03%2F24%2FThumbnail-1.png)
[速報] Amazon Redshift data sharing がAWS Lake Formation による集中アクセス制御をサポート！(preview) | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。現在開催中のAWS re:Invent 2022ですが、Amazon Redshift data sharing がAWS Lake Formation による集中アクセス制御をサポートしました。 Lake Formation による集中アクセス制御とは Redshift data sharing によって、Redshift データウェアハウス全体でライブデータを効率的に共有できます。Lake Formation を用いることで、Redshift から共有されたデータのガバナンスを簡素化し、すべてのdata sharingをコンシューマー間で詳細なアクセスを一元管理できるようになりました。 Lake FormationをRedshift data sharingのアクセス管理には、Lake Formation API と AW
![[速報] Amazon Redshift data sharing がAWS Lake Formation による集中アクセス制御をサポート！(preview) | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/7a80ccfd3c405c137d762fe1db76c9e087e38d35/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2022%2F11%2Feyecatch_reinvent2022_new-service.png)
【速報】クラスタ間でライブデータを安全かつ簡単に共有できる『Amazon Redshift data sharing』プレビュー開始しました！ #reinvent | DevelopersIO
日本時間2020年12月10日深夜のAWS re:Invent 2020のAnalyticsのリーダーシップセッションにて、Redshiftの新サービス『Amazon Redshift data sharing』のプレビュー開始が発表されました。 Amazon Redshift data sharing とは クラスタ間でデータのコピーや移動することなくデータを共有するサービスで、AmazonRedshiftクラスタ間でライブデータを素早くデータアクセスが可能になります。data sharingはデータへのライブアクセスを提供するため、データが更新されてもユーザーは常に最新の一貫性のある情報を見ることができます。 コンシューマークラスタ（共有される側のクラスタ）の共有データにアクセスできるユーザーとグループは、標準のSQLおよび分析ツールを使用して、高性能でデータを検出およびクエリできます
RedshiftのPrimary KeyおよびUnique制約が実行計画に与える影響 | DevelopersIO
こんにちは。データアナリティクス事業本部の松村です。 早いものでもう入社から1年が経ちましたが、これまでの投稿ペースは平均して月1本、そして間隔にはかなりばらつきがあります。今後はコンスタントに月2本を達成したいなあと思う次第からの、2年目初の投稿です。 RedshiftにおけるPrimary Key制約の役割 Redshiftが一般的なRDBMSとは異なっていることのひとつとして、Primary Key制約が実際には制約として機能しない、というものがあります。かなり有名なのでご存じの方も多いと思います。 しかしながらマニュアルによると、実行計画の作成時には利用されるそうです。 CREATE TABLE Important Primary key constraints are informational only. They aren't enforced by the system,
Aｍazon Redshift [アップデート] データレイクで用いるカラム名ありパーティション形式のアンロードをサポートしたので試してみた | DevelopersIO
Aｍazon Redshift [アップデート] データレイクで用いるカラム名ありパーティション形式のアンロードをサポートしたので試してみた Amazon Redshiftは、クラスタバージョン1.0.14104からINCLUDEオプションとPARTITION BYを指定して、アンロードされたファイルにパーティション列を追加できるようになりました。個人的には待望の機能なので早速試してみました。 INCLUDEオプションとPARTITION BYの指定とは INCLUDEオプションとPARTITION BYを指定して、アンロードされたファイルにパーティション列を追加できるようになりました。つまり、UNLOADコマンドを実行する際にPARTITION BYを指定することでデータレイクで用いるカラム名ありパーティション形式でアンロードできるようになりました。もちろん、出力ファイル形式はCSV、P
Step Functionsを利用してS3からRedshiftへデータをロードしてみた | DevelopersIO
こんにちは、八木です。 最近のデータ分析基盤は、データソースのデータをそのまま保存するデータレイクと、データレイクのデータを加工して分析を行うDWH(データウェアハウス)を利用することが多いです。 このような構成の場合、データの取得から分析までの大まかな流れは以下のようになります。 データソースからデータレイクへデータを取得 データレイクからDWHへデータをロード DWHで分析 AWSの場合、データソースはRDSやDynamoDBなどのデータベース、データレイクはS3、DWHはRedshiftといったサービスがあります。 また、上記のようなワークフローの管理には Step Functions や Amazon Managed Workflows for Apache Airflow(MWAA)を利用します。 今回の記事では、Step Functions（ワークフロー管理）を利用して、上記フ
[速報] Amazon Redshift クエリエディタがAmazon Q generative SQLの新機能が発表されました（プレビュー） #AWSreInvent | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日、re:Invent2023のSwami Sivasubramanianさんのキーノートで、Amazon Redshift は、パブリックプレビューでAmazon Q generative SQL in Amazon Redshift Query Editorという、データから抽出したいことを自然言語で問い合わせして、SQLを生成する新機能が発表されました。 Amazon Q generative SQL in Amazon Redshift Query Editorとは 生成AI（Generative AI）をSQLに応用した生成SQL（Generative SQL）サービスです。具体的には、Amazon Redshift クエリエディタにデータから抽出したいことを自然言語で問い合わせすることで、SQLクエリの推奨事項
![[速報] Amazon Redshift クエリエディタがAmazon Q generative SQLの新機能が発表されました（プレビュー） #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/c5a1d95ebd2afc0f75b19d65f29d15dd30759556/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2F20231130-amazon-redshift-amazon-q-generative-sql-eyecatch-1200x630-1.png)
Informaticaのデータ統合サービスCloud Data IntegrationでRedshiftにELTしてみた - Qiita
はじめに はじめまして。 NTTデータ デザイン＆テクノロジーコンサルティング事業本部 デジタルテクノロジー＆データマネジメントユニット の nttd-nagano です。 Informatica（インフォマティカ） のクラウドデータマネージメントプラットフォームとして、「Intelligent Data Management Cloud」（※1。以下IDMCと記載）というものがあります。 今回は、そのIDMCのデータ統合サービス「Cloud Data Integration」（※2。以下CDIと記載）の機能「プッシュダウン最適化」機能（Pushdown Optimization）にて、 Amazon Redshift にELT（※4）してみた ので、ご報告します。 ※1. 略称はIDMC。旧称はIICS。クラウドデータマネジメントプラットフォーム。以下IDMCと記載。 ※2. 略称はCD
Amazon Redshiftとは 高速、スケーラブルで費用対効果の高いDWHおよびデー誰行く分析マネージドサービス 参考：https://d1.awsstatic.com/webinars/jp/pdf/services/20200318_AWS_BlackBelt_Redshift.pdf ユースケース 主に大容量データを高速に集計・分析する必要があるワークロードに利用 経営ダッシュボード 定型レポーティング アドホック分析 ELT/バッチ 機械学習の前処理 Amazon Redshiftを中心としたデータ分析パイプライン アーキテクチャ（RA3インスタンス） ベースは PostgreSQL でDWH用に拡張している AWSの他のサービスコンポーネントを活用したマネージドサービスとなっている コンピュートとストレージを分離しスケーリングと支払を独立 データは永続ストレージとしてS3、キ
![[AWS] Amazon Redshiftまとめ - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/809b58e6d80364676ba5ab35a310ada31c6e216f/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-412672c5f0600ab9a64263b751f1bc81.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTk3MiZoPTM3OCZ0eHQ9JTVCQVdTJTVEJTIwQW1hem9uJTIwUmVkc2hpZnQlRTMlODElQkUlRTMlODElQTglRTMlODIlODEmdHh0LWFsaWduPWxlZnQlMkN0b3AmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZzPTYxNDA5NTUyMTYyNWE1ZGNiNjUwYjRiMjczNjE0MzBm%26mark-x%3D142%26mark-y%3D57%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZoPTc2Jnc9NzcwJnR4dD0lNDBxaWl0YS1rdXJhcmEmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT0zNiZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPTQ5ZGJjZDcwYjY2MTFkYzA5OWM1MWJiYTM0ZjlkMTA3%26blend-x%3D142%26blend-y%3D486%26blend-mode%3Dnormal%26s%3D3c1e30c37891369d7c553190a708a773)
Amazon Web Services ブログ Amazon Redshift にストアドプロシージャを導入する Amazon は、常にお客様のニーズに基づいて働いています。お客様は、レガシーのオンプレミスデータウェアハウスから既存のワークロードを簡単に移行できるように、Amazon Redshift でストアドプロシージャを使用できることを強く要望しています。 この大切な目標を念頭に置いて、AWS は PL/pqSQL ストアドプロシージャを実装して、既存のプロシージャとの互換性を最大限に高め、移行を簡素化することを選択しました。この記事では、運用の効率性とセキュリティを向上させるためにストアドプロシージャを使用する方法と場合について説明します。AWS Schema Conversion Tool でストアドプロシージャを使用する方法も説明します。 ストアドプロシージャとは ストアドプロ
psqlいらず？Redshift用CLIツールのAmazon Redshift RSQLを試してみた | DevelopersIO
データ・アナリティクス事業本部の森脇です。 先日、Redshift用のコマンドラインインターフェースであるAmazon Redshift RSQLされました。 従来RedshiftのCLIツールと言えばpsqlが定番でしたが、とうとうRedshift用のツールがリリースされました！ 発表によると Amazon Redshift RSQL は、Amazon Redshift 固有の機能の追加セットを備えた PostgreSQL psql コマンドラインツールの機能をサポートしています。 とのことなので、psqlの機能が使えつつ拡張でRedshift固有機能にも対応しているようです。 これであればpsqlからの乗り換えも容易そうです。 早速Amazon Linux2にインストールして試してみました。 インストール ユーザーズガイドを参照すると、まずはODBC関連ツールをインストール/設定する必
Amazon Web Services（AWS）が2019年12月2日～6日（現地時間）、米国ラスベガスで開催した「AWS re:Invent 2019」。同社CEOのアンディ・ジャシー氏による3時間に及ぶ基調講演では、多数の新発表が行われた。 米国ラスベガスのサンズエキスポコンベンションセンターやMGMグランドカンファレンスセンターなど複数会場をまたいで開催。現地参加者は6万5000人を数えた 前回記事でお伝えしたIaaS関連領域（コンピュート、オンプレミス／エッジ領域）の主要な新発表に続いて、今回は「データレイク」や「データ分析（アナリティクス）」領域の新発表を、ジャシー氏が語った「狙い」と共に見ていきたい。「Amazon S3」や「Amazon Redshift」関連の発表だ。 ITのモダナイズ＝“引っ越し”で捨てていくべきものとは 前回記事でも触れたように、ジャシー氏基調講演の大き
[お知らせ]Amazon Redshiftの手動バックアップ利用料が請求されるようになります | DevelopersIO
データアナリティクス事業本部の石川です。AWSのマネジメントコンソールにログインして参照するPersonal Health DashboardのBilling Alertの情報に基づいて、手動バックアップ利用料の請求について解説します。既存のアカウントは2020年7月1日から、2020年5月15日以降の新しいアカウントは直ちに、この料金が発生しますのでそれまでにご確認ください。 なお、料金の詳細については、英語の公式サイトを御覧ください。 Redshiftのバックアップ利用料の変更点 Redshiftは、2020年7月1日からユーザーの任意のバックアップ（手動スナップショット）の課金を開始します。Amazon Redshiftの料金では、ユーザーが作成したバックアップデータに対して課金されると記載がありましたが、今までAWSは利用料金を請求しておりませんでした。 従来のスナップショットの料
Amazon Redshiftが単一クラスタあたり最大10万テーブルまで対応へ。これまでの2万テーブルから拡大 Amazon Web Services（AWS）は、データウェアハウス向けサービスとして提供しているAmazon Redshiftで、単一クラスタあたり最大10万テーブルまで対応を拡張したことを発表しました。対応するノードタイプは、DC2.8XL、DS2.8XL、RA3.4XL、RA3.16XL。 New #AWSLaunches! AWS IoT Device Defender now available in the AWS GovCloud (US-East) Region Amazon CloudWatch Logs Insights now available in AWS GovCloud (US-East) Region Amazon Redshift now su
Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する | Amazon Web Services
Amazon Web Services ブログ Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する 最高の ETL は、ETL を行わないことだという話を聞いたことがあるかもしれません。Amazon Redshift は、横串検索でこれを可能にしました。最初のリリースでは、この機能により、Amazon Redshift 外部スキーマを使用して、Amazon Aurora PostgreSQL または Amazon RDS for PostgreSQL でデータをクエリできます。横串検索は、システムビューとドライバー API を通じてソースデータベースからメタデータも公開します。これにより、Tableau や Amazon Quicksight などのビジネスインテリジェンスツールがローカルコピーを作成しなくても、Amazon Red
当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の13日目のエントリです。 こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。 昨日はShirotaによる「AWS Batch」でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 本日13日目のテーマは『Amazon Redshift』です。 目次 Amazon R
当エントリは弊社AWS事業本部による『AWS 入門ブログリレー 2024』に部外者ですが参戦している27日目のエントリです。 このブログリレーの企画は、普段 AWS サービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWS をこれから学ぼう！という方にとっては文字通りの入門記事として、またすでに AWS を活用されている方にとっても AWS サービスの再発見や 2024 年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 では、さっそくいってみましょう。今回のテーマは『Amazon Redshift』です。 Amazon Redshift とは Amazon Redshiftは、AWSが
適切なデータウェアハウスの選択は、一般的なデータおよび分析的なビジネスニーズにおいて重要な要素ですが、企業がデータウェアハウスのプロバイダーを選ぶ際に「 ビジネスニーズに合わせて、Snowflake、Amazon RedShift、または Google の BigQuery のデータウェアハウスを使うべきか」というのが、最大の疑問の一つとして浮かびます。 Amazon RedShift と Snowflake、Google BigQuery と Snowflake の比較は既にご紹介しましたが、では Amazon RedShift と Google BigQuery はどうでしょうか。 Amazon と Google はどちらにも、RedShift と BigQuery を備えた印象深いデータ ウェアハウスがあり、このソリューションはそれぞれ、分析を大規模かつ高速に実行することができます。
GitHub - harunobukameda/Amazon-Redshift-Spectrum-AWS-Glue-Amazon-Athena-Amazon-S3-Select
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
[アップデート] Amazon Redshift 暗号化ハッシュ関数『SHA2』をサポートしました | DevelopersIO
Amazon Redshiftは、クラスタバージョン1.0.14877からチェックサムのビット数の引数値として0（256と同じ）、224、256、384、または512の暗号化ハッシュ関数SHA2をサポートするようになりました。 暗号化ハッシュ関数『SHA2』 SHA2関数は、SHA2暗号化ハッシュを使用して、可変長文字列（string）とチェックサムのビット数（bits）を引数に指定して、ハッシュ文字列に変換します。ハッシュ文字列は、指定されたビット数のチェックサムの16 進値をテキストで表記したものです。なお、チェックサムのビット数（bits）には、0（256と同じ）、224、256、384、512の指定が可能です。 SHA2(string, bits) 次の例では、「Amazon Redshift」という単語の256ビット値を返します。 # SELECT sha2('Amazon Re
[アップデート] Amazon Redshift データレイクテーブル上のマテリアライズドビューの増分更新のサポート (プレビュー) #AWSreInvent | DevelopersIO
データアナリティクス事業本部のコンサルティングチームの石川です。 本日より、Amazon Redshift は、パブリックプレビューでRedshift Spectrumによるデータレイクテーブルをソースとしたマテリアライズドビューの増分リフレッシュをサポートしました。 Amazon Redshiftは、Apache Icebergや標準のAWS Glueテーブルをソースとしたマテリアライズドビューの増分リフレッシュをサポートするようになり、SELECTステートメントの再実行やマテリアライズドビュー内のデータの再書き込みを必要とする完全リフレッシュの必要性がなくなりました。 マテリアライズドビューの増分更新のサポートとは Amazon Redshiftのマテリアライズドビューは、クエリの事前計算された結果セットを保存することで、大規模なテーブル、特に集計や複数テーブルの結合でのクエリの実行を
![[アップデート] Amazon Redshift データレイクテーブル上のマテリアライズドビューの増分更新のサポート (プレビュー) #AWSreInvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/f099104aaa09df58f234f4f90b04b2f5cefbb675/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-newservice-update.png)
Redshiftってよくわからないし、使う必要ある？RDSでよくない？！ 自分の周りではそんな声がちらほら聞こえてきます。自分もそのうちの1人で、よくわからないし、検証するにはお金がかかるから後回しにしておこう・・・という感じでした。 そんなときに「Redshiftで秒単位の請求のサポートを開始」されたことを耳にしました！ https://aws.amazon.com/jp/about-aws/whats-new/2020/02/amazon-redshift-supports-per-second-billing/ これならお試しに自宅で作っても費用を抑えられるし、わざわざ作るのが面倒だという方と自分の復習用にドキュメントも残そうと思います。 1. クラスターの作成 「マネージメントコンソール」にログインし、サービスメニューから「Amazon Redshift」をクリックします。 続いて
Optimizing tables in Amazon Redshift using Automatic Table Optimization | Amazon Web Services
AWS Big Data Blog Optimizing tables in Amazon Redshift using Automatic Table Optimization Amazon Redshift is the most popular and fastest cloud data warehouse that lets you easily gain insights from all your data using standard SQL and your existing business intelligence (BI) tools. Amazon Redshift automates common maintenance tasks and is self-learning, self-optimizing, and constantly adapting to
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Redshift now supports auto-copy from Amazon S3
Redshift Serverless について見かけた課題と対応策 - Qiita
同時実行スケーリングを使用する - Amazon Redshift
OpenMetadataでRedshiftのクエリログからリネージュを作成する | DevelopersIO
BigQuery+RedShiftの経験から見るSnowflakeの真価
[AWS] Amazon Redshiftまとめ - Qiita
Amazon Redshift にストアドプロシージャを導入する | Amazon Web Services
Redshiftは他社の3倍、そして10倍高速に―AWSジャシーCEO基調講演 (1/4)
Amazon Redshiftが単一クラスタあたり最大10万テーブルまで対応へ。これまでの2万テーブルから拡大
AWS再入門ブログリレー Amazon Redshift編 | DevelopersIO
AWS入門ブログリレー2024〜 Amazon Redshift 編〜 | DevelopersIO
Redshift vs. BigQuery - 選択ガイド
Redshiftをはじめて触ってみた！ - Qiita