データ基盤の管理に役立つ監視用のSQLを紹介します - 10X Product Blog
Analytics Engineerの吉田(id:syou6162)です。BigQueryを中心に10X社内のデータ関連の管理をしています。10Xに入社してそろそろ一年になろうかとしていますが、データ基盤を適切に管理 / 運用するためにSQLによる監視を少しずつ取り入れています。この記事では、具体的にどのようなSQLを書いて監視しているのか紹介したいと思います。 なお、SQLを使ったデータ基盤の監視自体については私の前職のTech Blogで詳細に書いていますので、そちらを参照してください。 SQLを使った監視でデータ基盤の品質を向上させる - MonotaRO Tech Blog データ管理に役立つメタデータに関する勉強会を社内外で開催しました - MonotaRO Tech Blog 本エントリはこれをベースに「dbtをフルに活用している10Xの環境向けに入れた監視」や「BigQuer
BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.12.06 技術記事 BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] by Yuya Nakamura #infrastructure #sre #google-cloud #google-bigquery はじめに こんにちは。 IT 基盤部パブリッククラウドチームの中村です。 GCP の BigQuery は便利なサービスですが、使い方を誤ると簡単に高額請求されてしまうことがあるサービスでもあります。 この記事では、そんな BigQuery のガバナンスが効いた状態を維持する活動である BQ ドクターという取り組みを全社展開するための基盤を整備した話をご紹介します。 BQ ドクターとは BQ ドクターは、下図のフローで継続的にデータのガバナンスを維持するための取り組みの総称で、以前からデータ本部で実施していました。 これまでの
![BigQuery のコスト最適化活動の全社展開用基盤を整えた話 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/742b6a7e355f9fc2815cd3dda6fa1de34d953699/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F12%2Fextend-bq-doctor%2Fcover.png)
INFORMATION_SCHEMAを用いたBigQueryのストレージ無駄遣い調査 - ZOZO TECH BLOG
こんにちは、『地球の歩き方ムー』創刊のニュースに心を踊らせている、データ基盤ブロックの塩崎です。 本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介します。 BigQuery費用はクエリ費用だけではない ZOZOのデータ基盤として利用されているBigQueryは、非常にパワフルなDWH（Data WareHouse）です。しかし、それ故に利用者の意図しないところで費用が高騰することもしばしば発生します。よく問題になるのはクエリ費用の高騰であり、以下のQiita記事はBigQuery利用者の中でも有名です。 qiita.com このクエリ費用の高騰に対し、我々データ基盤ブロックはこれまでに、いくつもの方法で対処してきました。具体的な取り組みの一部は以下の記事で紹介しているので、併せてご覧ください。 techblog.zozo.com techb
分析者や予算承認者の視点に立ちつつ、BigQuery Flex Slotsの適切なスロット数を定量的に決定する方法を紹介します - MonotaRO Tech Blog
こんにちは、データ基盤グループの吉本と吉田(id:syou6162)です。モノタロウでは基本的にはBigQueryを定額料金で利用していますが、利用者の多い時間帯はFlex Slotsも併用しています。本エントリでは、Flex Slotsの適切なスロット数を定量的に決めるために行なった試行錯誤について紹介します。 モノタロウでのBigQueryの利用状況 課題感 課題感1: 適切なFlex Slotsのスロット数をどう決めるか 課題感2: 過去の期間との実行時間は単純には比較できない 解決策 解決策1: 同一のクエリを定期的に動かし、実行時間をCloud Monitoringで計測 解決策2: 計測用オンデマンドのGCPプロジェクトでもクエリを実行し、理想状態との相対実行時間を知る まとめ モノタロウでのBigQueryの利用状況 モノタロウでは様々な意思決定の場面でデータ活用が行なわれて
コンピュートとストレージの分離から紐解くBigQueryの権限モデル - ZOZO TECH BLOG
こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複雑化し、初心者にとって理解の難しい挙動をすることもあります。この記事ではBigQueryの権限モデルをコンピュートとストレージの分離という観点から紐解きます。 なお、記事中に記載している費用は全てUS Multi Regionにおけるものです。asia-northeast-1 Resion（東京）とは異なりますので、ご注意ください。 よくあるエラーとそこから湧く疑
An overview of BigQuery's architecture and how to quickly get started | Google Cloud Blog
Rajesh ThallamSolutions Architect, Generative AI Solutions Google BigQuery was released to general availability in 2011 and is Google Cloud's enterprise data warehouse designed for business agility. Its serverless architecture allows it to operate at scale and speed to provide incredibly fast SQL analytics over large datasets. Since its inception, numerous features and improvements have been made
Table sampling | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Table sampling Table sampling lets you query random subsets of data from large BigQuery tables. Sampling returns a variety of records while avoiding the costs associated with scanning and processing an entire table. Using table sampling To use table sampling in a query, include the TABLESAMPLE clau
BigQueryのデータのアクセス権限・セキュリティを考える｜グルーヴノーツ - MAGELLAN BLOCKS
アクセス権の設定 以下の単位できめ細やかにアクセス権を設定することができます。 データセット テーブル 列 行（AuthorizedView） 制御しながらデータを見せる アクセス権とは違い、クエリの結果しか見せない、暗号化してしまうということもできます。 AuthorizedView 暗号化関数 監査ログ 誰がいつ、どこで、何をしたかの監査ログを取ることができます。 Cloud Logging（今回はこちらに関して触れませんが、とても大事なことです） データのアクセス権とジョブ（クエリ）の設定について アクセス権の設定の前に、この件を先に触れます。 BigQueryでは、データにアクセスする権限と、ジョブ（クエリ）を発行する権限が明確に分かれています。前者はBigQueryでデータセットやテーブルに対して付与します。後者はIAMでプロジェクトに対して付与します。 最初のうちは、この点を理
BigQueryでワイルドカードが使えるテーブルってどうやって作るの？ - Qiita
結論としてはしょうもない話なのだが、正解に辿り着くまでにまぁまぁ時間を要したので、 同じ問題に直面した人向けに記事化しておく 3行で 記事タイトルの疑問は、私がひたすらググり続けてもよく分からなかった疑問 どんなにググっても解決されないのは当然で、別に特殊な作成方法など存在しないことが原因だった つまりBigQueryの_TABLE_SUFFIXは日付に限らずどんなパターンでもワイルドカードで取得できる そもそもなぜ私はワイルドカードで取得するタイプのテーブルには特別なテーブル作成が必要だと思っていたのか？ BigQueryの公式リファレンスにはワイルドカード（*）を利用したテーブルのクエリ方法についての説明はすでに存在している。 クエリの走査ボリュームを減らすためにもこの機能は可能な限り活用したいのでどうやったらワイルドカードで引っかかるようにサフィックス付きのテーブルを作成出来るのか調
５分でわかる！BigQuery Tips集 - Gunosyデータ分析ブログ
こんにちは。データ分析部の阿部です。 今回はBigQueryについてです。 GunosyではもともとRedshiftで運用していましたが、 クエリによっては時間がかかり処理しきれない 同時にクエリを投げると詰まる などの課題を解決するためにBigQueryを一部で導入しました。 今回はBigQuery導入するときのTipsを紹介したいと思います。 Standard SQL テーブルワイルドカード関数 Partitioned Table Re:dashに接続する方法 Google Apps Script を使ってクエリ結果をSlackに通知する方法 まとめ Standard SQL 現時点でベータ版ですが、ついにBigQueryでも標準SQLを使ってクエリを書けるようになりました。 これまでの SQL (Legacy SQL) は癖が強く、 distinct を使って重複を取り除くこともでき
位置情報を利用してサイトのアクセス元を可視化｜とくきち（tokukichi）
エンジニア｜事業サービス会社に所属｜得意領域はマーケティングオートメーション、WEB接客サービス、データ基盤、BigQuery 個人メディア→ https://tokukichi.com/
Google CloudがBigQueryでAWS、Azure上のデータを動かさずに分析できる「BigQuery Omni」を発表
Google Cloudは2020年7月14日（米国時間）、アナリティクスサービス「BigQuery」のマルチクラウド対応を発表した。Amazon Web Services（AWS）やMicrosoft Azure上のデータを動かすことなく、BigQueryによるマルチクラウドのデータ分析ができる。 Google Cloudは同日、AWSの「Amazon S3」に対応したプライベートα版の提供を開始した。Azureへの対応は近い将来（「soon」）に行うという。 BigQuery Omniでは、Google Cloudがマルチクラウド対応を進めるマネージドKubernetesサービス、「Anthos」を活用する。BigQuery OmniとしてAWSやAzureに展開するAnthosクラスタ上で、BigQueryのクエリエンジンである「Dremel」をマネージドサービスとして動かす。その上
Apache Hadoop のデータを BigQuery で分析するための移行手順
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 2 日目の記事です。 TL;DRApache Hadoop のデータを BigQuery で分析できるようにするための移行手順をご紹介します。Google Cloud が提供する、フルマネージドでサーバレスなデータ ウェアハウスである BigQuery を活用することで、インフラやミドルウェアの運用保守作業を行う必要がなく、データ分析作業に専念できるようになります。（個人的な意見ですが）オンプレミスで Apache Hadoop クラスタを運用している場合、サーバの調達や、ミドルウェアのインストール、各種リソースの使用率のモニタリング、パフォーマンス チューニングなどの運用保守作業が定期的に発生し、効率的にデータ分析環境を運用することができない、といった課題が
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた | DevelopersIO
こんにちは、みかみです。 これまで BigQuery のデータのアクセス制御を指定できる最下層のリソースはデータセットで、テーブルやカラム単位でのアクセス制御はできませんでしたが、Data Catalog のポリシータグを付与することで、カラムレベルのアクセス制御が指定できるようになったそうです。 BigQuery の列レベルのセキュリティで、きめ細かなアクセス制御を ｜ GCP ブログ Introduction to BigQuery Column-level security ｜ BigQuery ドキュメント Restricting access with BigQuery Column-level security ｜ BigQuery ドキュメント やりたいこと BigQuery のカラムレベルのアクセス制御を行うにはどうすればいいのか知りたい BigQuery のカラムレベルの
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
2023年のBigQuery権限管理
Google Cloud Day: Digital 2021 にて Analytics/ML/Datahub について3セッション登壇しました
BigQuery アクセス権設定 | Queuery
Engineering Education
ゆるやかにBigQuery（データ基盤）を安定活用するプラクティス集 #bq_sushi / 20180424
ワイルドカード テーブルを使用した複数テーブルに対するクエリ | BigQuery | Google Cloud
