SQLは書けるけどBigQueryは初見の人に贈るざっくりBigQuery
去年使い始めたBigQueryについて、BigQueryを使う前の私に教えてあげたいことをまとめてみました。 BigQueryとは Google Cloudで提供されている、データ管理と分析のためのデータウェアハウス（めっちゃデータが入ってる総合的な倉庫と思ってもらえれば）サービスです。 フルマネージドなので、インフラ管理も楽なままSQLクエリだけで大規模なデータ分析基盤を構築できます。 気軽に試すには、Sandbox環境がおすすめです。 DDL(CREATE TABLEとか)は発行できませんが、パブリックデータセットなども存在しているので、基本的な操作は試すことができます。 特徴 BigQueryは早いということがよく特徴として上がりますが、それを実現する二つの大きな要素があります 列指向データベースであること データウェアハウスでは列指向データベースが多いですが、BigQueryも例に
Big Queryにおけるデータマートテーブル開発アンチパターン
TL;DR Big Query上でデータマートテーブル開発を行う上で、私が出会ったアンチパターンを紹介いたします。 前提 本記事内では便宜上、下記定義を利用します。 データマート→GCPのBig Query（以後BQ）を前提に書きます。 アンチパターン→開発や導入を阻害する一般的で再発性の高い障害要因。 衝動的に書いた為、抜け漏れ、誤字脱字はご指摘くださると幸いです。 設計編 データマートのテーブルを設計する際に、発生するアンチパターンを紹介します。この段階で発生したアンチパターンは、運用時に不要な工数を生み出す原因となるため、注意が必要となります。 命名の自由度が高い パッと見何を指しているのかわからないテーブル名、カラム名はアンチパターンとしています。「相対値（new/old/neo/_1）」、「受け継いだカラム名を変更する」、「日本語と英語が合体」など、アンチパターンは様々です。 対
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
