ありがとうRedshift よろしくBigQuery - freee Developers Hub

ナカミチといいます。freeeのデータ基盤でエンジニア業に勤しむ日々です。 今回は長年freeeの分析環境を支えてくれたRedshiftをBigQueryに移行したお話。 なお技術的な詳細までは触れず、移行プロジェクト全体に関して記述しています。 (Techieな記事を期待した方スミマセンｍｍ) 移行の規模はどんなもんか ボリューム的にはざっと下記の通りです。 テーブル数: 約2,000テーブル データ量: 約180TB(snappy) クエリ数: 約500件 移行期間: 約1年4ヶ月(準備期間含む) そもそもなんで移行したの？ 大別すると移行を決めた理由は3つほど。 パフォーマンス向上が見込めた 手段を多様化したい エンジニアリソースの最適化 以下にそれぞれ細かく記述します。 1. パフォーマンス向上が見込めた SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6

[yarumato]

“データ量: 約180TB(snappy)。平均5〜6倍ほどの高速化を確認。Redshift向けSQLはBigQueryで動かないため書き換え。BigQuery課金体系を従量制から年定額スロット制に切り替え。SQLを叩く際に料金を気にする必要がない”

[legoboku]

パフォーマンスチューニングに費やしてる労力を他のことに使いたいのはよく分かる

[pascal256]

大規模フルスキャンが速いというのはBigQueryの大事な特徴よね

[takezaki]

“SQLによりますが、それまで使っていたRedshift環境と比べて平均5〜6倍ほどの高速化が確認できました。”

[mysql8]

GCPしか勝たん

[ustam]

AWSメインの企業がデータ分析だけBigQuery使ってるのを散見するけど、そんなにパフォーマンス違ったのか。

[noblejasper]

よろしく BigQuery