【寄稿】Amazon Redshift Serverlessへのセキュアなアクセス | Amazon Web Services
Query Editor V2はブラウザで動作するGUIベースの高機能なSQLクライアントで、アクセスポイントはAWSコンソールと同様にインターネット上にあります。通信は常にTLSで暗号化されるため安全ですが、企業のセキュリティ規定等でデータ経路を閉域網に限定されている場合はQuery Editor V2は候補から外さざるを得ません。 Data APIは任意のアプリケーションやプログラムからRedshiftデータへアクセスするものですが、AWS CLIからクエリを投入する場合にも背後で使用されています。AWS CLIを使えばプログラムを開発せずにData API経由でクエリを投入できます。しかしAWS CLIはSAMLシングルサインオンに対応していないため、AWS CLIとは別の仕組みでSAMLシングルサインオンを実行し、得られた認証情報をAWS CLIに連携しなければなりません。結局その
2023 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 | Amazon Web Services
Amazon Web Services ブログ 2023 年 4 月の AWS Black Belt オンラインセミナー資料及び動画公開のご案内 2023 年 4 月に公開された AWS Black Belt オンラインセミナーの資料及び動画についてご案内させて頂きます。 動画はオンデマンドでご視聴いただけます。 また、過去の AWS Black Belt オンラインセミナーの資料及び動画は「AWS サービス別資料集」に一覧がございます。 YouTube の再生リストは「AWS Black Belt Online Seminar の Playlist」をご覧ください。 Amazon CloudWatch RUM Amazon CloudWatch RUM は リアルユーザーモニタリングを行うことのできる AWS サービスです。本セッションでは、Amazon CloudWatch RUM の
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit | DevelopersIO
【レポート】Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) #AWSSummit どーも、データアナリティクス事業本部コンサルティングチームのsutoです。 この記事は、5月26日に行われた AWS Summit Tokyo（2023）のセッション『Amazon Redshift クエリパフォーマンスチューニング Deep Dive(AWS-36) 』のセッションレポートとなります。 セッション概要 経験や勘に頼らず、Amazon Redshift のクエリのボトルネックをシステマチックに分析してチューニングする実践的な手法を紹介します。マネジメントコンソールやシステムテーブル・ビューから時間ベースでボトルネックを特定して、チューニングを行う手法を理論と実践の両面から実例を交えて紹介します。 スピーカー アマゾン ウェブ サービス ジャ
Lambda(Amazon Redshift Data API)からRedshift severlessへリクエストした際に「permission denied for relation」エラー | DevelopersIO
Lambda(Amazon Redshift Data API)からRedshift severlessへリクエストした際に「permission denied for relation」エラー はじめに こんばんは、データアナリティクス事業本部ビッグデータチームのkasamaです。 今年ももう大晦日ですね。年明ける前に躓いたエラーをブログ化することですっきりとした年越しをしたいと思います。 Lambda実行時のエラー 前提条件 Lambda関数作成 ソースコード置き換え タイムアウト秒数の変更 Lambdaロールに許可ポリシー追加 最新のboto3のレイヤーの作成と追加 Lambda関数実行 Redshift権限調査 対策 再実行結果 最後に Lambda実行時のエラー Lambda上で、Redshift Serverlessへのselect文をAmazon Redshift Data
【開催報告】AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～ | Amazon Web Services
Amazon Web Services ブログ 【開催報告】AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～ 2022年11月24日に「AWSで実践！Analytics Modernization ～第4回 今アツい！分析ソリューション編～」を開催しました。今回は、AWSのAnalytics チームより、IT 部門/分析担当者向けに、今日から使える Analytics ソリューションをデモと共にご紹介いたしました。本ブログでは当日の各発表内容を紹介いたします。 OpenSearch で始めるモダンなログ分析とオブザーバビリティ アマゾンウェブサービスジャパン合同会社 シニア事業開発マネージャー 甲谷 優 資料ダウンロード 本セッションでは、検索エンジンである OpenSearch と、マネージドサービスである Amazon OpenS
HeatWave と AQUA (Advanced Query Accelerator) for Amazon Redshift の比較
はじめに 前回、HeatWave と Redshift との TPC-H 派生ベンチマーク比較記事を掲載しましたが、 MySQL Database Service HeatWave と Amazon Redshift の TPC-H 派生ベンチマーク比較 | スマートスタイル TECH BLOG ちょうどこの記事のベンチマークを追えたタイミングで Redshift の新機能 AQUA (Advanced Query Accelerator) がGAリリースされているのに気付きました。 Amazon Redshift > 最新機能 | AWS は、Amazon Redshift 向けの AQUA の一般提供開始を発表 AQUA (Advanced Query Accelerator) for Amazon Redshift の一般提供が開始されました。 AQUA は、Amazon Redsh
データ活用基盤の今 〜DWH外観図〜 - クックパッド開発者ブログ
こんにちは、今年の1月に会員事業部から技術部データ基盤グループへ異動した佐藤です。先日、京まふ2019前夜祭イベントに参加するために人生で初めてピカピカ光る棒を買いました。 新卒で入社してから2年ほど分析作業をしていた身から、データ活用基盤を作る側へ立場を変えました。今回は新たに身を移したデータ活用基盤の外観を説明したいと思います。 2017年にも同内容の記事が投稿されていますので、当時との違いを中心に説明していきます。 外観図 以下が2019年10月現在におけるクックパッドのデータ活用基盤の全体像です。 クックパッドのDWH外観図 masterデータのインポートがMySQL以外にも複数種対応し始めたことと、PrismとSpectrum（S3＋Glue）周りと、Tableau Serverが大きな変更点となっています。2017年の図にDmemoはありませんでしたが、記事本文にある通り当時か
[新機能]Amazon Redshift Spectrum がついにCTASとINSERT INTOをサポートしたので実際に試してみました！ | DevelopersIO
[新機能]Amazon Redshift Spectrum がついにCTASとINSERT INTOをサポートしたので実際に試してみました！ データアナリティクス事業本部の石川です。クラスタバージョン1.0.15582から 「クエリの結果から外部テーブルを作成する（CTAS）」と「追加するテーブルの作成」が、Redshift Spectrumでも利用できるようになりました。早速試してみます！ CTASに関してはこれまでローカルテーブルへは出来ましたが外部テーブルへのCTASでの書き込みができるようになったのがポイントです。今まで同じことをしようとUnload+Create external tableと2ステップで行う必要がありました。 — Junpei Ozono (@jostandard) June 8, 2020 準備 検証用にサンプルデータのCSVファイルを用いて、外部スキーマと外
![[新機能]Amazon Redshift Spectrum がついにCTASとINSERT INTOをサポートしたので実際に試してみました！ | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/81eb02784729f6c36fc95bc45da4619b1a0480cf/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F05%2Famazon-redshift.png)
Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する | Amazon Web Services
Amazon Web Services ブログ Redshift 横串検索を使用して、簡略化された ETL およびライブデータクエリソリューションを構築する 最高の ETL は、ETL を行わないことだという話を聞いたことがあるかもしれません。Amazon Redshift は、横串検索でこれを可能にしました。最初のリリースでは、この機能により、Amazon Redshift 外部スキーマを使用して、Amazon Aurora PostgreSQL または Amazon RDS for PostgreSQL でデータをクエリできます。横串検索は、システムビューとドライバー API を通じてソースデータベースからメタデータも公開します。これにより、Tableau や Amazon Quicksight などのビジネスインテリジェンスツールがローカルコピーを作成しなくても、Amazon Red
AWS Glue および Amazon Redshift を使用して Amazon S3 の利用料金を分析する | Amazon Web Services
Amazon Web Services ブログ AWS Glue および Amazon Redshift を使用して Amazon S3 の利用料金を分析する AWS のコストと使用状況レポート (CUR) は、AWS の使用状況を追跡し、それに関連する推定請求額を算出します。このレポートは、毎時または日次ベースのデータを表示するように設定することができます。レポートは請求確定日までに、1 日に少なくとも 1 回更新されます。コストと使用状況レポートは、指定する Amazon S3 バケットに自動的に配信され、そこから直接ダウンロードできます。また、このレポートは、Amazon Redshift に統合したり、Amazon Athena でクエリを実行したり、Amazon QuickSight にアップロードしたりすることができます。詳細については、Query and Visualize
Amazon Redshift編～パフォーマンスチューニング distkey編～
こんにちは！中の人です。 前回の『Amazon Redshift編～パフォーマンスチューニング sortkey編～』では、Redshiftのパフォーマンスチューニングとしてsortkeyの設定方法と、設定によるパフォーマンスの違いを紹介しました。 今回は『Amazon Redshift編～パフォーマンスチューニング distkey編～』と題して、Redshiftに対してdistribution keyを設定した場合のパフォーマンスについて紹介します。 テスト方法 今回は、こちらのクエリを使用します。 select avg(column01) from SAMPLE_TABLE where column01>5000 and date like '13-06%'
Amazon Redshift の新機能「Auto Vacuum & Auto Sort」の徹底検証 #reinvent | DevelopersIO
先週、AWS re:Invent 2019で発表のあった「Auto Vacuum & Auto Sort」は、機械学習を使用してクエリのパターンを分析した結果に基づき、VACUUMを自動実行する機能です。なんかいい感じで暇な時に自動でVACUUMしてくれる、というニュアンスが伝わってくるのですが、本当のところどうかという点が気になります。そこで、この「機械学習を使用してクエリのパターンを分析」とは何かという点に着目して、実際の動作を確認してみました。 Auto Vacuum & Auto Sort とは これまでのRedshiftのAuto Vacuum Delete は論理削除した領域の開放のみなので、ソートキーを設定したテーブルは別途VACUUMを実行が必要でした。「Auto Vacuum & Auto Sort」は、Auto Vacuum で データのソートも自動実行されるようになり
【アップデート】Amazon Redshift の新機能「Federated Query」でRDSとAuroraのPostgreSQLに直接クエリを実行できるようになりました #reinvent | DevelopersIO
こんにちは！DA事業本部の石川です！ re:Invent2019の12/3のキーノートでAmazon Redshiftが新たにAmazon Redshift 「Federated Query」をサポートしました。今回はキーノートの内容を中心にご紹介します。 New for Amazon Redshift – Data Lake Export and Federated Query Federated Queryとは？ RDSとAurora PostgreSQLのテーブルにRedshiftから直接アクセスできるようになりました。所謂、RedshiftからPostgreSQLに対してデータベースリンクする機能です。 この構文を使用して、RDSまたはAurora PostgreSQLデータベースからRedshiftクラスターに外部スキーマを追加できます。リンクはスキーマ毎に設定します。 CREA
Amazon Redshift introduces Automatic Table Sort, an automated alternative to Vacuum Sort
Amazon Redshift now provides an efficient and automated way to maintain sort order of the data in Redshift tables to continuously optimize query performance. The new automatic table sort capability offers simplified maintenance and ease of use without compromising performance and access to Redshift tables. Automatic table sort complements Automatic Vacuum Delete and Automatic Analyze and together
Developers.IO 2019 Tokyoで「Effective Datalake 〜基礎からわかるデータレイクの定義と実践〜」というタイトルで発表してきました #cmdevio | DevelopersIO
クラスメソッドの石川です。 先日開催いたしましたDevelopers.IO 2019 in TOKYOにお越し頂きましてありがとうございました。 表題の通り、データレイクについてお話をさせて頂きました。 スライド こちらがスライドになります。 こんな事を話してた はじめに データレイクとは AWS Glue Aamzon Athena / Redshift Spectrum データ設計のベストプラクティス Redshiftからデータレイクの移行 AWS Lake Formation まとめ まとめ Glue/Athena/Redshift Spectrumで始まったAWSのデータレイクは、Lake Formationによって統合され大きな進化を遂げました。その過程を私なりの解釈と定義に基づいて、現在に至る基礎的なサービスとその動作原理、データ設計のベストプラクティスについ
AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション | Amazon Web Services
Amazon Web Services ブログ AWS Step Functions および AWS Glue を使用した Amazon Redshift ベースの ETL ワークフローのオーケストレーション Amazon Redshift は、ペタバイト規模の完全マネージド型クラウドデータウェアハウスサービスで、現在お使いのものと同じ SQL ベースのツールとビジネスインテリジェンスアプリケーションを使用した迅速なクエリパフォーマンスを提供します。お客様の多くは、既存の SQL ベースのスクリプトを素早く移行するために既存の SQL 開発者スキルセットを使用する ETL (抽出、変換、ロード) エンジンとして Amazon Redshift を利用しておられると共に、Amazon Redshift が完全に ACID 対応であることから、ソースデータシステムからの変更データを統合する
複数のデータソース(Redshiftや主要RDBMS等)及びOS(Mac/Windows/Linux)対応の無償SQLクライアントツール『DBeaver』 | DevelopersIO
当ブログでは、これまでに『Amazon Redshiftに対応している事・繋がる事』を1つの評価軸として幾つかのツールを紹介して来ましたが、その一覧に新たに加えても良さそうなツールの情報を先程目にしましたので、当エントリでその内容についてご紹介してみたいと思います。それがこちらの『DBeaver』です。 DBeaver | Free Universal SQL Client これまで紹介してきたDB関連ツール 参考までに、これまでに紹介して来たDB関連ツールの一覧を以下に纏めます。 Intellij IDEA(Ultimate Edition) Amazon RedshiftのMac OS X向けGUIツールとして『Intellij IDEA Ultimate Edition』のDatabase Toolsを使う ｜ Developers.IO 0xDBE → DataGrip Mac/W
Amazon Redshift クラスターのサイズ変更をやってみた | DevelopersIO
AWS事業本部＠福岡オフィスの梶原です。 Amazon Redshift クラスターのサイズ変更を実施する機会がありましたので、作業手順を共有します。 Redshiftのクラスターのサイズ変更を行う際にはElastic-Resize(伸縮自在なサイズ変更)とClassic-Resize(従来のサイズ変更)があります。 また、メンテナンスウィンドウなどを設けず、クラスターへの書き込みを継続する必要がある場合には、「スナップショット、復元、およびサイズ変更」の一連の作業を実施しつつ、移行途中に書き込まれたデータを転送する必要があります。 Elastic-Resize(伸縮自在なサイズ変更)とは 伸縮自在なサイズ変更は、クラスターのサイズを変更する最速の方法です。伸縮自在なサイズ変更は、既存のクラスターにあるノードを追加または削除し、自動的にデータを新しいノードに再分散します。新しいクラスターを
Lookerベスト・プラクティス：クラスタ全体のネットワークトラフィックを削減してAmazon Redshift分析時のパフォーマンスを最適化 #looker | DevelopersIO
Lookerではトピック毎のベストプラクティスを個別にドキュメントやナレッジベースとしてまとめています。当エントリではその中から、LookerでAmazon Redshiftのデータを分析する際の『Amazon Redshiftのネットワークトラフィック削減』に関する内容を紹介したいと思います。 Best Practice: Optimize Redshift Performance by Reducing Network Traffic Across a Cluster – Looker Help Center 目次 はじめに 1.データの非正規化 2.適切な『分散キー』の指定 3.適切な『ソートキー』の指定 4.ストレージ容量の確保 5.クラスタ状況の監視 6.その他Amazon Redshiftパフォーマンス・チューニング全般 まとめ はじめに Amazon Redshiftはクラス
AWS再入門ブログリレー Amazon Redshift編 | DevelopersIO
当エントリは弊社コンサルティング部による『AWS再入門ブログリレー 2019』の13日目のエントリです。 こんにちは、AWS事業本部のニシヤマです。はいマスキュラー。 昨日はShirotaによる「AWS Batch」でした。 このブログリレーの企画は、普段AWSサービスについて最新のネタ・深い/細かいテーマを主に書き連ねてきたメンバーの手によって、 今一度初心に返って、基本的な部分を見つめ直してみよう、解説してみようというコンセプトが含まれています。 AWSをこれから学ぼう！という方にとっては文字通りの入門記事として、またすでにAWSを活用されている方にとってもAWSサービスの再発見や2019年のサービスアップデートのキャッチアップの場となればと考えておりますので、ぜひ最後までお付合い頂ければ幸いです。 本日13日目のテーマは『Amazon Redshift』です。 目次 Amazon R
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
