スキューのない世界を目指して - クックパッド開発者ブログ

こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 普段はRedshiftのクエリをチューニングしたり、データ基盤周りの仕組みを慣れないRubyで書いたりしています。 突然ですが、スキュー(skew)という単語をご存じでしょうか。 「skew 意味」で検索すると「斜め」とか「傾斜」といった訳が出てきますが、コンピューティング界隈では「偏り」という訳語が定着していると思います。 さらに、分散並列DB界隈で単にスキューもしくは偏りと言った場合、それはしばしばデータの偏りを指します。 データが偏っているとは データが偏っているとは、複数ノードで構成される分散並列DBにおいて、各ノードが保持するデータ量（行数）に

[koyancya]

ひえー -> "32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました"

[toyama0919]

全Tableがkey分散だな。distkey、普通は指定するんじゃないかと

[girled]

Key方式の説明が参考。既存テーブルのDISTSTYLEをKEYからEVENにしたらサイズが1.5倍になったので謎って調べたんだけどKEYでまとまってたカラムがEVEN分散で非効率になる影響なのか

[NineGates]

スキューのない世界を目指して こんにちは。インフラストラクチャー部データ基盤グループの小玉です。 先日Amazon Redshift（以下、Redshift）で32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラス

[tmatsuu]

なるほど。このデータ構造ならこのkeyというわけではなくて、一番良く実行するクエリーに合わせてkeyを決定するのが良さそうと感じました。

[wata88]

冒頭のせいで、後の話が頭に入ってこない

[udongerge]

スキューだらけの人生

[sora_h]

Redshift は落ちる

[wh11e7rue]

"32TBのテーブルを全行スキャンするクエリを3本同時に走らせたまま帰宅し、クラスターを落としてしまいました。 "

[koba789]

冒頭にしれっとやばい事故書いてあってウケる

[karikari1255]

あるある。特に考えずにEvan方式でやると、容量が50%近く空いててもクエリ投げるとすぐ一時テーブルでパンクする場合がある。

[civitaspo]

スキューのない世界を目指して - クックパッド開発者ブログ

[gfx]

“分散並列DB界隈で単にスキューもしくは偏りと言った場合、それはしばしばデータの偏りを指します”