RedshiftのWLM小話 - Qiita
この記事はAWS Advent Calendar 2014の最終日の記事です。メリークリスマス！！ WLMお使いですか？ WLM? まずは、RedshiftのWLM(Work Load Management)について簡単に説明すると、Redshiftに投げ込まれるクエリに対して割り当てるRedshiftのリソースを指定するものです。事前にWLMとしてキューを用意しておき、キューに対して割り当てるメモリの割合や並列度、タイムアウトの時間を指定することでクエリに対してリソースの配分や長時間実行されるクエリを止めてクラスタリソースを無駄遣いしないようにすることが目的です。 キューに指定出来るものとしては 並列度 メモリの割合 タイムアウト です。 キューに割り当てられたメモリは、キュー内で実行されているクエリで均等に分割して使用されます。 CPUやDisk IOまで指定出来ると嬉しいのですが現状
Amazon Redshiftでよく使うけど忘れがちなコマンド(クエリ）まとめ - Qiita
追記 2014-10-29 "実行中のクエリをキャンセル"するの項に追記しました コマンド（クエリ） ディスクのスペースを確認する SELECT owner, host, diskno, used, capacity, (used-tossed)/capacity::numeric * 100 AS pctused FROM stv_partitions ORDER BY owner; CREATE VIEW loadview AS (SELECT DISTINCT tbl, TRIM(name) as table_name, query, starttime, TRIM(filename) AS input, line_number, colname, err_code, TRIM(err_reason) AS reason FROM stl_load_errors sl, stv_tb
Redshiftのworkload management - まめ畑
Redshiftのパフォーマンス検証記事は見かけるのですが、WLMに関して言及されているものをみないのと、ちょっと複雑なのでまとめておきます。 管理面については Redshiftの管理面 - まめ畑を参照下さい。 WLMの重要性 DWHでは往々にして、実行時間のかかるクエリからサクッと終わるもの、バッチがガリガリと長時間かけて実行するクエリまで様々なタイプのクエリが投げ込まれます。 これらクエリはリソースをガッツリ割り当ててさっさと思ってほしいものから、重要でないから気長に実行をまてるものまで要件は様々です。これら、クラスタリソースを管理してクエリ毎に割り当てることで1つのクラスタ内で様々な種類・用途のクエリを扱いやすくすることが出来ます。 Redshiftでは標準で1キュー・5並列とParameter Groupで設定されています。この状態では実行時間が長くかかるクエリが5本実行されてい
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
