ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
ZOZOTOWNのDWHをRedshiftからBigQueryにお引越しした話 / Moving ZOZOTOWN DWH from Redshift to BigQuery
AWS GlueのJobでクロールしたRedshiftのテーブルをDynamic Frame経由で利用しようとすると以下の2つの問題点があります。 複数のテーブルをJoinして利用することができない SELECT * で条件指定などせず、全レコードをtemporary領域にUnloadしてしまう そこで、databricksが提供しているRedshift Data Source for Apache Sparkを利用してRedshiftを利用します。 前提 spark-redshift v2.0.1のjarを利用 AWS Glue Jobは2018/5時点に作成、言語としてはScalaを利用。 python(pySpark)だと 必要なライブラリや、py4jのリフレクションで詰まって動作するところまで持っていけてない。 Database(Redshift)への設定は事前に確認しておく Gl
みなさん。こんにちは。STSの山口です。弊社が「Redshiftはじめました。」と宣伝を始めて以降、最近、数々のRedshift関連のお問い合わせを頂いており、非常にうれしい限りでございます。 さてさて、このような状況におきまして、今回、皆様にご紹介したいのは、この「Redshift」を使った、新しいDWHシステムのご提案、「リアルタイム型DWHシステム」でございます。実際にお客様へご説明させて頂いている資料を織り交ぜながら、皆様に「リアルタイム型DWHシステム」をご紹介したいと思います。また、最後にはこの「リアルタイム型DWHシステム」のデモ機に関してもご紹介します。 言わずと知れた、AWSの「DWHの価格破壊サービス」Redshiftのご紹介です。先述しましたとおり、我々が提案する「リアルタイム型DWHシステム」では非常に重要な構成要素の1つとなっております。実はこの「リアルタイム型D
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く