Amazon Redshift DB開発者ガイド – クエリパフォーマンスチューニング(1).実行計画の分析 | DevelopersIO
Amazon Redshift DB開発者ガイド – クエリパフォーマンスチューニング(1).実行計画の分析 勢い余ってしまい本日3本目のエントリ投下となってしまいましたw Amazon Redshift DB開発者ガイド、当エントリはデータのロード処理から離れて『実行計画の分析』というテーマについて。掘り下げて行きます。 目次 実行計画の分析 シンプルなEXPLAINの実行例 EXPLAINオペレータ Joinの例 システムビューに対してクエリプランをマッピング 実行計画の分析 プロセスに異常に長い時間が掛かる場合は、実行計画を調べる事によってその性能を向上出来る機会を発見する事が出来るかも知れません。このセクションでは、Amazon Redshiftのクエリを最適化する機会を見つける為に、どのように実行計画を表示し、利用していくかについて説明します。 実行計画を作成するには、以下例のよ
Powering Amazon Redshift Analytics with Apache Spark and Amazon Machine Learning | Amazon Web Services
AWS Big Data Blog Powering Amazon Redshift Analytics with Apache Spark and Amazon Machine Learning Air travel can be stressful due to the many factors that are simply out of airline passengers’ control. As passengers, we want to minimize this stress as much as we can. We can do this by using past data to make predictions about how likely a flight will be delayed based on the time of day or the air
UDF のための Python 言語のサポート - Amazon Redshift
カスタム Python ライブラリモジュールのインポート スカラー関数は、Python 言語構文を使用して定義します。Python 標準ライブラリモジュールと Amazon Redshift に事前にインストールされたモジュールを使用できます。独自のカスタム Python ライブラリモジュールを作成してライブラリをクラスターにインポートしたり、Python またはサードパーティーの既存のライブラリを使用したりすることもできます。 Python 標準ライブラリモジュール、またはインストール済みの Amazon Redshift Python モジュールと同じ名前のモジュールを含むライブラリを作成することはできません。ユーザーがインストールした既存のライブラリが独自に作成するライブラリと同じ Python パッケージを使用している場合は、新しいライブラリをインストールする前に既存のライブラリを
Amazon Redshiftへ継続的にデータをロードする際に気をつけること - クックパッド開発者ブログ
こんにちは、インフラ部データ基盤グループの小玉です。 データ基盤グループでは、Amazon Redshift（以下、Redshift）へ継続的にデータをロードする仕組みを、約半年に渡り構築・運用してきました。この記事では、その中で学んだことを共有させて頂きます。 弊社では情報系システムの一部に、AWSが提供するRedshiftという分散データベースを利用しています。情報系システムとは、データ分析を主な用途とするシステムのことです。なかでもRedshiftはSQLを使った大量データの高速な分析に最適化されているため、DWH（データウェアハウス）としての利用に適しています。 DWHの構築に必要なタスクとしては、データソースの特定、モデリング、データの抽出・変換・ロード(ETL)、クエリツールやBIツール導入、パフォーマンス・チューニング、メタデータの管理、バックアップ・リストアなど、があります
Amazon Redshift introduces new data type to support time zones in time stamps
You can now use time zones as part of time stamps in Amazon Redshift. The new TIMESTAMPTZ data type allows you to input timestamp values that include a time zone. Amazon Redshift automatically converts timestamps to Coordinated Universal Time (UTC) and stores the UTC values. Also, the COPY command now recognizes timestamp values with time zones in the source data and automatically converts them to
Amazon Redshiftで良く使いそうなSQL文をスクリプトで作成してみた | DevelopersIO
下記エントリではRedshiftで使うSQL文を自分なりにまとめてみましたが、当エントリではその姉妹編という形で、『良く使いそうなSQL文をスクリプトで作成してみた』ものをまとめたものになります。SQL編同様、『コレは！』と思ったものについては適宜追加・更新を行っていきたいと思います。ではではスタート。 Amazon Redshiftで良く使いそうな便利系SQLをまとめてみた ｜ Developers.IO 目次 項目の最大バイト数を求める[by Groovy] 作成済みのテーブル定義からCREATE TABLE文を生成する[by Groovy] Publicスキーマに対して参照権限のみ持つユーザーの新規作成を一発で行う(スクリプトを作成する)[by Groovy] 項目の最大バイト数を求める(代替策) CSVデータを投入する際、項目桁数が明確となっていない場合は一旦ざっくり桁数を多目に取
【AWS】Redshiftの分散キーとソートキー - TASK NOTES
Redshiftのパフォーマンスで重要になる分散キーとソートキーについてまとめました。 分散キー（DISTKEY） テーブルにデータをロードすると、そのテーブルの分散スタイルに従って、テーブルの行が各ノードスライスに分散されます。Redshift では1ノードの中で実際に処理を行うプロセスが複数動いており、このプロセスをノードスライスといいます。並列処理の単位はノードではなくノードスライス単位です。スライスの数は、次のようにノード上のプロセッサコアの数と同じになります。 均等分散 均等分散はデフォルトの分散スタイルです。リーダーノードは、特定の列の値に含まれている値にかかわらず、ラウンドロビン方式によって複数のスライス間で行を分散させます。例えば 8スライスのテーブルに 8行 insert した場合、各ノードスライスへ順番に 1行ずつ配布されます。均等分散は、テーブルが結合に関与していない
相関性のあるサブクエリ - Amazon Redshift
次の例の WHERE 句には、相関性のあるサブクエリが含まれています。このタイプのサブクエリには、サブクエリの列と他のクエリが生成した列の間に相関性があります。この場合、相関は where s.listid=l.listid となります。外部クエリが生成する各行に対してサブクエリが実行され、行が適正か適正でないかが判断されます。 select salesid, listid, sum(pricepaid) from sales s where qtysold= (select max(numtickets) from listing l where s.listid=l.listid) group by 1,2 order by 1,2 limit 5; salesid | listid | sum --------+--------+---------- 27 | 28 | 111.00
PG_TABLE_DEF - Amazon Redshift
select "column", type, encoding, distkey, sortkey, "notnull" from pg_table_def where tablename = 'lineorder_compound' and sortkey <> 0; column | type | encoding | distkey | sortkey | notnull -------------+---------+----------+---------+---------+-------- lo_orderkey | integer | delta32k | false | 1 | true lo_custkey | integer | none | false | 2 | true lo_partkey | integer | none | true | 3 | true
SVV_TABLE_INFO - Amazon Redshift
データベースのテーブルに関する概要情報を表示します。ビューではシステムテーブルが絞り込まれ、ユーザー定義テーブルのみが表示されます。 SVV_TABLE_INFO ビューを使用すると、クエリのパフォーマンスに影響する可能性のあるテーブル設計の問題を診断し、それに対処できます。これには、圧縮エンコード、分散キー、ソートスタイル、データ分散スキュー、テーブルサイズ、統計情報が含まれます。SVV_TABLE_INFO ビューは、空のテーブルの情報を返しません。 SVV_TABLE_INFO ビューは、STV_BLOCKLIST、STV_NODE_STORAGE_CAPACITY、STV_TBL_PERM、および STV_SLICES システムテーブルと、PG_DATABASE、PG_ATTRIBUTE、PG_CLASS、PG_NAMESPACE、および PG_TYPE カタログテーブルからの情報
カタログテーブルへのクエリの実行 - Amazon Redshift
通常、カタログテーブルとビュー (名前が PG_ で始まる関係) を Amazon Redshift テーブルとビューに結合できます。 カタログテーブルは、Amazon Redshift がサポートしない多数のデータ型を使用します。クエリでカタログテーブルを Amazon Redshift テーブルに結合するときは、次のデータ型がサポートされます。 サポートされないデータ型を持つ列を明示的または暗黙的に参照する結合クエリを記述すると、クエリはエラーを返します。カタログテーブルの一部で使用される SQL 関数も、PG_SETTINGS および PG_LOCKS テーブルで使用されるものを除いてサポートされません。 例えば、PG_STATS テーブルに対し、Amazon Redshift テーブルとの結合でクエリを実行することはできません。これは、関数がサポートされていないためです。 次のカタ
ActiveRecordを使ってRedshiftから大量のデータを効率的に読み出す - クックパッド開発者ブログ
こんにちは、トレンド調査ラボの井上寛之（@inohiro）です。 普段は、クックパッドの検索ログを基にした法人向けデータサービス「たべみる」の開発や、 広告事業周辺のデータ分析などを担当しています。 Amazon Redshiftなどのデータベースに蓄積されたログなどの大量のデータに対して、 日次や週次などの単位でバッチ処理を行っている方は多くいらっしゃると思います。 ログなどを扱うバッチ処理では、処理対象が膨大であるとアプリケーションが使うメモリが増大し、 枯渇してしまう恐れもあるため、データの扱いに気をつける必要があります。 データベース内で完結するバッチ処理ならばそこまで気にする必要は無いかもしれませんが、 外部のプログラムからデータを読み出して処理する場合は特に注意が必要です。 そこで考えられる一つの工夫として、処理対象を分割して、繰り返して処理を行う方法が挙げられます。 一般的な
JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink | Amazon Web Services
AWS Big Data Blog JOIN Amazon Redshift AND Amazon RDS PostgreSQL WITH dblink Tony Gibbs is a Solutions Architect with AWS (Update: This blog post has been translated into Japanese) When it comes to choosing a SQL-based database in AWS, there are many options. Sometimes it can be difficult to know which one to choose. For example, when would you use Amazon Aurora instead of Amazon RDS PostgreSQL or
みんなのウェディングのデータ分析基盤の現状 — みんなのウェディングエンジニアリングブログ
こんにちは、みんなのウェディングの小室 (id:hogelog) です。 今回はみんなのウェディングにおけるデータ分析基盤の現状についてご報告させていただきます。 三行まとめ 忙しい人のために先に結論を書くと bricolage と embulk で Redshift に集めて re:dash で分析 です。 データ収集 データ収集は bricolage のジョブネット機構を用いて bricolage の各種ジョブや embulk を連携させ、Redshift にデータを取り込んでいます。 参考までに https://github.com/hogelog/dwh-example に簡単な構成例を準備しました。 MySQL → Redshift みんなのウェディング http://www.mwed.jp/ のデータベースとしては MySQL を利用しています。 MySQL から Redshi
データ変換パラメータ - Amazon Redshift
テーブルをロードする際に、COPY は暗黙的にソースデータの文字列をターゲット列のデータ型に変換しようとします。デフォルトの動作とは異なる変換を指定する必要がある場合、またはデフォルトの変換がエラーになった場合、次のパラメータを指定してデータ変換を管理できます。これらのパラメータの構文に関する詳細については、「COPY 構文」を参照してください。 ACCEPTANYDATE 00/00/00 00:00:00 などの無効な形式を含め、任意の日付形式をエラーなしにロードできるようにします。このパラメータは TIMESTAMP 列および DATE 列にのみ適用されます。ACCEPTANYDATE は常に DATEFORMAT パラメータと共に使用します。データの日付形式が DATEFORMAT の仕様と一致しない場合、Amazon Redshift はそのフィールドに NULL 値を挿入します
クエリプランの評価 - Amazon Redshift
クエリプランを使用すると、分散スタイル最適化の候補を特定できます。 初期設計の決定を行った後で、テーブルを作成し、テーブルにデータをロードして、テーブルをテストします。実際のデータにできるだけ近いテストデータセットを使用します。比較のベースラインとして使用するロード時間を測定します。 実行する予定のクエリのうち、典型的な高コストクエリ、つまり結合と集計を使用するクエリを評価します。さまざまな設計オプションの実行時間を比較します。実行時間を比較する際は、最初のランタイムにはコンパイル時間が含まれるため、最初の時間はカウントしないでください。 DS_DIST_NONE 対応するスライスはコンピューティングノードにコロケーションされているため、再分散は必要となりません。通常は、DS_DIST_NONE ステップ (ファクトテーブルと単一のディメンションテーブル間の結合) が 1 つあるだけです。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
図2 | AI tech studio
COPY - Amazon Redshift
GitHub - awslabs/aws-lambda-redshift-loader: Amazon Redshift Database Loader implemented in AWS Lambda
How to parse host out of a string in Redshift?