300万テーブルのデータ流通を支えるエンジニアリング #GoogleCloud #GoogleCloudDay / 20230523

テクノロジーカンファレンス「Google Cloud Day ’23 Tour in TOKYO」の登壇資料です。詳細は当社ニュースをご参照ください。 https://kazaneya.com/5a50c1c1bb7b42f1bd9eb7b35d813ba1 --- スモールチームで 300 万テーブル規模のデータ基盤を構築・運用し、社内・社外にデータを提供しています。スケーラブルな仕組みやデータ流通を実現するヒントになればと思います。 具体的には - BigQuery へのマイグレーション - dbt によるデータモデリング - IAM や AnalyticsHub によるデータ共有 - BigQueryML による異常検知 - CS 活動におけるデータ活用 といったテーマを扱います。 ---------------------------------------------------

[so-apps]

300万テーブルというのは本当に必要なのか、トレードオフを適切に選択していないだけなのか。

[nmcli]

300万レコードじゃなくて300万テーブルだった、多すぎて吐きそう

[syuu256]

こちらもT***D***からの脱出作業中

[nomber3]

パーティションやシャーディングやマルチテナントでテナントごとにテーブル分ける設計などの、時間経過や規模拡張に応じてテーブル数が増える仕組みに見えました。意図した設計なら問題ない気がします。

[Sephy]

300万テーブルってタイトルの時点で地獄の門が見えたけど内容が地獄巡りだったので当事者じゃないのに胃が痛くなった。当事者だったら毎日メソメソ泣きながらキーボードに齧りついて暗中模索してると思う

[okbm]

レコードだと思ってた。テーブルか

[syque]

Treasure Data が高かったので BigQuery に移行。dbt も導入。

[iwtn]

中々聞かない話なので興味深い。あと、総データ量はどれぐらいだったんだろう？

[yamamoto-h]

300万レコードじゃねーのw からのマジか…

[yuzutas0]

資料を公開しました。/ テーブル数に否定的な方々、オンプレ時代を経た1兆円規模のサービスが水平シャーデングを選ぶのそんなに変ですかね？中身を読まずにコメントやスターしているなら営業妨害なのでやめてほしい。

[rxh]

こりゃ凄いな

[waihasaruya]

移行の時に旧が間違ってるのあるあるだね

[shag]

弊社は300万テーブルです。と言われた時点で逃げ出す。

[door-s-dev]

フリーザさんもびっくり

[circled]

移行データの整合性チェックに書かれた「気合と根性」

[hdampty7]

桁が違い過ぎて参考にならねぇｗ

[asuka0801]

テンプレート作った事で簡単にリアーキ可能って書いてあるけどそんな頻繁に300万テーブル変更したくない気持ち

[uesima]

データ