入社４ヶ月でBigQueryの課金額を減らすために考えたこと - 弁護士ドットコム株式会社 Creators’ blog

データ分析基盤室の otobe（𝕏@UC_DBengineer） です。 事業規模が拡大し、大規模なデータの管理が必要になるにつれて、SnowFlake や BigQuery のようなハイパワーな DWH サービスでデータを加工するケースは多いです。 その際、想定外な高額請求が起こる原因のひとつに、クエリが最適化されておらずスキャン量が増大しているケースがあります。 そのため、クエリのスキャン量を監視・管理することが課金額を減らすうえで有効な手段となることがあります。 本記事では、前半で BigQuery で課金されるスキャン量を監視・管理するまでのプロセスを振り返り、 後半で BigQuery の課金額を減らすために簡単にチェックできることについてお話しします。 BigQuery クエリにおけるスキャン量を監視・管理するに至った理由 BigQuery の課金額が想定より大幅に増加してい

[syou6162]

「東京 (asia-northeast1) ロケーションを使わない」は自社のリーガルの要件を確かめた上でやりましょう

[habarhaba]

リージョンのところでオッとなったら案の定ブコメでも書かれてた

[bayaread]

BigQueryのこの仕組みが怖いのでAWSのRedshiftにした。遅いクエリは遅くなるけど課金にビクビクするより良かった

[sh19910711]

"Cloud Storage: API の呼び出しによっても課金 + 更新頻度が高く多量のファイルを送受信する場合はむしろ高額になることがある / コストについて意識を共有し、データ管理の重要性を理解していただく"