Amazon Redshiftの仕様を調べてみた | フューチャー技術ブログ
クラウド環境におけるDWHの選択肢として、Redshiftはもはや珍しいものではなくなりましたが、弊社内の採用実績はそれほど多くはありませんでした。 本記事は元々そのような社内向けに、Redshiftの基本的な仕様をなるべく網羅的に理解できるようまとめたものです。 筆者について新卒でフューチャーに入社し、今年で8年目になります。 入社後は一貫して技術畑、オンプレミスのインフラに始まり、直近ではアプリケーションまで含めたプロジェクトの技術統括を担当しています。 私もかつては社内有数のAWSエンジニアを自負していましたが、最近は別の仕事のため少し遠ざかっており、クラウドの世界は日進月歩なこともあり知識をアップデートする必要を感じています。 ※この記事の準備中にもElastic Resizeがリリースされました。 本記事は私のリハビリも兼ね、ドキュメントのまとめだけでなく、実際に手を動かして振る
AWS Glue 実践入門：Amazon RedshiftのテーブルをETLする | DevelopersIO
先日に引き続き、クローラで作成したAWS Glue Data Catalog 上のRedshiftのテーブル定義を利用して、ETL Jobを作成します。ETL Jobの作成、そして実行時の挙動についても解説します。 このブログで利用するxxxx_ssbgz_customerテーブル定義の作成方法は以下のブログを御覧ください。 AWS Glue 実践入門：Amazon Redshiftのテーブルをクロールする ETL Job の作成 ジョブとは、抽出、変換、およびロード（ETL）作業を実行するために必要なビジネス・ロジックのことです。ジョブの実行は、イベントによってスケジュールまたは駆動されるトリガによって開始されます。 Job properties ジョブの名前やIAM Role等の基本情報を設定します。 Redshiftに対するクエリ実行が主なので、画面下のScript librarie
Amazon Redshift Performanceビューから読み解くアクティビティと監視のポイント | DevelopersIO
Amazon Redshift が標準で提供している Redshift Console は 複数ノード構成のアクティビティの確認に便利な Performance ビューを提供しています。今回はメトリックスの読み解き方と、CloudWatchへのアラーム設定のポイントについてご紹介します。 Performance ビューとは Performance ビューとは Redshift メトリックスに対して、ノードごとのアクティビティをグラフ表示することで、Redshift の稼働状況をひと目で確認できる便利な機能です。また、メトリックスに対して、CloudWatchのしきい値とアラーム設定をすることで、これらアクティビティの監視を自動化できます。 メトリックスの目のつけどころ まずは各メトリックスの目的と、着目するポイントについて、ざっくりと解説します。 以下のメトリックスの例は、データをロード（
クエリプランの分析 - Amazon Redshift
クエリプランを分析する前に、クエリプランを読む方法の知識が必要です。クエリプランを読む方法がわからない場合、次に進む前に「クエリプラン」を参照することをお勧めします。 EXPLAIN コマンドを実行して、クエリプランを取得します。クエリプランにより提供されるデータを分析するには、以下の手順を実行します。 ネステッドループ: この結合は通常、結合条件が省略されたために発生します。推奨される解決策については、「Nested Loop」を参照してください。 ハッシュおよびハッシュ結合: ハッシュ結合は、結合列が分散キーでもソートキーでもないテーブルを結合するときに使用されます。推奨される解決策については、「ハッシュ結合」を参照してください。 マージ結合: 変更は必要ありません。 どのテーブルが内部結合に使用され、どのテーブルが外部結合に使用されるのかに注目してください。クエリエンジンは通常、内部
Amazon Redshiftのデータ量監視とエンコードタイプ - LIVESENSE Data Analytics Blog
データエンジニアリングチームのよしたけです。 弊社各サービスのデータ分析基盤であるLivesense Analyticsの開発、運用を行っています。 Livesense Analyticsのアーキテクチャ Livesense AnalyticsはAWS上でシステムが構築されています。S3上にあるデータやtd-agent、Kinesis Firehoseなどを経由して集めたデータをAmazon Redshiftに格納し、データウェアハウスとして運用しています。詳細は、弊社大政がデータ分析基盤Night #1 で発表した内容をご参照ください。 当時とは一部変更になっている部分もありますが、大枠は上記の図の構成になっています。 ディスク使用量 このLivesense Analyticsには、マッハバイトや転職会議をはじめ、リブセンスで運用している多くのメディアの各種ログやデータが集められています
AWSインテグレーションが Redshift に対応しました ほか - Mackerel お知らせ #mackerelio
こんにちは。Mackerel セールスエンジニアの id:a-know です。 今週末はクリスマスですね！一足早いクリスマスプレゼント......というわけではないのですが、Mackerelチームメンバーに新しいアパレルグッズ（トレーナーやパーカーなど）が配られました！ 私も今、新しいパーカーを着てこれを書いているのですが、前にも増してクオリティが高く、とてもあたたかいです！ 次の公式イベントでは、きっとこの新アパレルグッズを来てみなさんをお迎えすることになると思います。今からその日が楽しみです！ そうそう、クリスマスといえば、Mackerel のアドベントカレンダーもいよいよ佳境に近づいています！こちらもお見逃しなく！ Mackerel Advent Calendar 2016 - Qiita それでは、今週のアップデート情報です。 AWSインテグレーションが Redshift に対応し
Amazon EMR の Avro フォーマットのデータを Amazon Redshift にロードする | DevelopersIO
先日、Amazon Redshift で Avro フォーマットのデータをロードできるように COPY コマンドが拡張されました。Avro といえば、Hadoop のシリアライズフォーマットの一つです。Avro ファイルを実際に作成したり、Pig から Avro ファイルをエクスポート〜 Redshift に投入する方法をご紹介したいと思います。 Amazon RedshiftでAvroフォーマットのデータロードをサポートしました 新たに COPY 文で FORMAT が追加になり、このオプションとして AVRO が指定できるようになっています。 COPY COPY table_name [ column_list ] FROM data_source [ WITH ] CREDENTIALS [AS] 'aws_access_credentials' [ [ FORMAT ] [ AS
Amazon Redshift の 可用性と耐久性について | DevelopersIO
はじめに 先日お客様よりRedshiftの構成や可用性、耐久性、データの復元などのご質問をいただきましたので 想定される障害についてどのような復旧対応が行われるのかまとめました。 引用はAmazon Redshift のよくある質問の 可用性と耐久性 から引用しています。 ドライブ障害 Q: 1 つのノードのドライブに障害が発生した場合、データウェアハウスクラスターの可用性とデータ耐久性はどうなりますか? Amazon Redshift データウェアハウスクラスターはドライブに障害が発生した場合でも継続して利用できますが、特定のクエリに対するパフォーマンスがわずかに低下します。ドライブに障害が発生すると、ノード内の他のドライブに格納されている障害ドライブのデータの複製が、透過的に使用されます。さらに、データを正常なドライブに移動させるか、移動できない場合はノードの交換が行われます。 単一ノ
Amazon Redshift v. Google BigQuery: Similarities and Differences - Treasure Data Blog
Redshift v. BigQuery: Similarities, Differences and the Serverless Future? Redshift v. BigQuery: Similarities, Differences and the Serverless Future? Last modified: August 17, 2019 Redshift v. BigQuery: Similarities, Differences and the Serverless Future? In broad strokes, both BigQuery and Redshift are cloud data warehousing services. Honestly, the similarities are greater than the differences, a
Amazon Redshift’s UDF
As you have probably heard, Amazon released User Defined Functions for Amazon Redshift and now you can write your own stored procedures in Python. I, myself, was looking forward to it. However, after having conducted a few tests, I have developed mixed feelings towards Amazon Redshift’s UDF feature. Let’s do some simple tests!In our data warehouse, we store client identifiers for every event in a
ドリコムを支えるデータ分析基盤がTD+AWSに移行した話 - かにぱんのなく頃に
はじめに これは ドリコムAdventCalendar の7日目です 6日目は、keiichironaganoさんによる iTunes 使用許諾更新のとき一旦キャンセルしてほしい話 です 【その2】ドリコム Advent Calendar 2015 もあります 自己紹介 @ka_nipan 去年の ドリコムを支えるデータ分析基盤 に引き続き、今年もドリコムのデータ分析基盤を担当しています。 分析基盤をTreasure Dataに移行 オンプレ環境の Hadoop からTreasure Data に移行しました。 また、ジョブ管理ツールやBIツールといったサーバーもAmazon EC2 に移行しており、 徐々にオンプレ環境を離れつつあります。 背景 オンプレ環境で Hadoop を運用して3年も経つと考えなければならないのが HW の寿命です。 さてどうしようかとなった時に、ほぼ迷いなく外部
ログ記録のための STL ビュー - Amazon Redshift
STL システムビューは、システムの履歴を提供するために Amazon Redshift ログファイルから生成されます。 これらのファイルは、データウェアハウスクラスター内の各ノードに置かれます。STL ビューは、ログから取得した情報を、システム管理者が使用できる形式のビューにしたものです。 ログの保持 — STL システムビューは 7 日間のログ履歴を保持します。ログの保持は、すべてのクラスターサイズとノードタイプで保証されており、クラスターワークロードの変化による影響を受けません。また、ログの保持は、クラスターの一時停止などのクラスターの状態からも影響を受けません。クラスターが新しい場合のみ、ログ履歴が 7 日未満になります。ログの保持にお客様によるアクションは不要ですが、ログデータを 7 日以上保持する場合は、ログを定期的に他のテーブルにコピーするか、Amazon S3 にアンロード
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How to Debug Disk Full Errors in Redshift - Lucidchart
Issue with pgpool 3.5.4 and JDBC
Amazon Redshiftで起きたトラブル事例
Bahut: Postgresql: list users and groups
How to Build a Performant Data Warehouse in Redshift l Sisense
Google Spreadsheet | AWS RDS | AWS Redshift
how to find size of database, schema, table in redshift