Datastream for BigQuery でプライベートなCloudSQLをニア・リアルタイムに分析する - Assured Tech Blog
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構成の説明がありますので興味ある方は最後まで読んでいただければと思います。 直近、GCP の BigQuery にアプリケーションのデータをニア・リアルタイムで同期できる Change Data Capture (CDC)のマネージドサービス、Datastream for BigQuery を利用する機会がありました。今回使用したデータソースは外部からのアクセスを許可していない構成だったのですが、こ
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
BigQueryで祝日判定UDFを公開した&AlphaSQLで依存関係気にせずデプロイ - Qiita
BigQuery Advent Calendar 2020の1日目の記事です。 この記事は、BigQueryで公開した祝日判定UDFの紹介と、依存関係のあるUDF群をMatts966氏のAlphaSQLで思考停止デプロイできた事実の共有です。 2023-01-02現在は、Google Cloud版Dataformを用いたデプロイを行なっており、データセットbqfunc.holidays_in_japan__usにて提供されています。 リポジトリ：https://github.com/bqfun/bqfunc 以前提供していた、USリージョン版bqfunc.holidays_in_japanは2023-01-31でサポートを終了します。 USリージョンでお使いの方はbqfunc.holidays_in_japan__usへの書き換えをお願いします。 また、2023-02-01以降、bqfun
10TB超えのBigQuery巨大データを高速にS3に同期する - ZOZO TECH BLOG
こんにちは。SRE部MA基盤チームの川津です。 私たちのチームでは今年サービスを終了した「IQON」の10TBを超える大規模データをBigQueryからS3へ移行しました。本記事ではデータ移行を行った際に検討したこと、実際にどのようにデータ移行を行ったかを紹介します。 データ移行の経緯 IQONは2020年4月6日をもってサービスを終了しました。そのIQONではデータ分析にBigQueryを利用していましたが、Amazon Web Services(AWS)上にもIQONに関するリソースが存在します。そのため、IQONはGCPとAWSの2つのクラウドで運用していました。 しかし、サービス終了に伴いGCP・AWSどちらかにリソースを統一する必要が出てきました。統一する意図としては、終了したサービスが利用する取引先を減らし、請求対応などの事務的なコストを減らしたい意図がありました。そのためGC
ストリーミングインサートで重複レコードを削除しながら BigQuery にデータをロードしてみた | DevelopersIO
こんにちは、みかみです。 BigQuery にデータをロードする場合、GCS や local のデータを BigQuery ジョブでロードするケースが多いと思いますが、他に tabledata.insertAll メソッドを使用してデータを１行ずつストリーミングインサートすることができます。 BigQuery ジョブの概要 ｜ BigQuery ドキュメント BigQuery へのデータのストリーミング ｜ BigQuery ドキュメント やりたいこと ストリーミングインサート（ tabledata.insertAll ）の挙動を確認したい ストリーミングインサートで insertId を指定した場合の挙動を確認したい insertId 指定で、本当に重複レコードが BigQuery に格納されなくなるか確認したい 前提 BigQuery Python クライアントライブラリ（ inser
BigQuery GISを用いた位置情報データ分析の入門 - Qiita
イントロダクション こんにちは、はじめまして。ドコモの石黒慎と申します。 私は位置情報に関するデータ分析を主に行っています。対象としているのはドコモの携帯電話ユーザーの位置情報を統計化したモバイル空間統計のデータを用いた大規模な人口・人流データの分析に基づいた交通の最適化です。 具体的には、AIタクシーというタクシー需要予測プロジェクトや、ドコモ・バイクシェアの自転車再配置の最適化といったプロジェクトの研究をしています。 大規模な人流データを扱うための前処理として空間データベースを利用することが多いです。例えばPostGISとQGISを組み合わせた位置情報データの前処理・可視化などです。 最近は、GoogleからリリースされたBigQuery GISの機能に注目しています。 そこで今回の記事では、BigQuery GISの機能紹介を行なった後、簡単な位置情報分析をエンジョイしてみたいと思い
BigQuery Materialized View とは - Qiita
この記事は古いです。 2021-02-26のGAに伴い、Materialized Viewができることは大幅に増えました。 ぜひ公式のドキュメントを読んでいただければと思います。 この記事何 BigQuery materialized views が 2020-04-08 に beta になりました。 伴って、ドキュメント1234が増えているので、重要だと思ったポイントをまとめました。 materialized view とは 誤解を恐れずに言えば、最新キャッシュの存在を保証した VIEW です。 メリット 自動 & 手動のキャッシュ再計算が定義されており、メンテ不要で新鮮にできます。 作り方 いつもの CREATE VIEW に MATERIALIZED を入れるだけです。 CREATE MATERIALIZED VIEW `project-id.my_dataset.my_mv_tab
INFORMATION_SCHEMA.JOBS_BY_* で BigQuery ジョブ警察🚨 - Qiita
2020-02-14 に INFORMATION_SCHEMA.JOBS_BY_* ビューがベータになり、誰でも使えるようになりました（BigQuery release notes）。 Cloud Logging で見ていた BigQuery ジョブが BigQuery 単体で追えるようになるアップデートです。何ができるようになったのか見ていきましょう。 最新情報は、公式ドキュメント Getting jobs metadata using INFORMATION_SCHEMA をご確認ください。 INFORMATION_SCHEMA.JOBS_BY_* ビューで BigQuery ジョブの履歴を見る INFORMATION_SCHEMA.JOBS_BY_* ビューを使うと、実行中の BigQuery ジョブと過去 180 日間1の完了したジョブのメタデータを取得できます。 スキーマは後ほど
6,000スロットを使うBigQueryのリソース配分最適化への挑戦
BigQueryのリソース配分最適化のため、プロジェクトへのコミットメントの割り当てパターンや、スロット消費の多いクエリの見つけ方などについて調査した結果をまとめてみました
BiqQuery API with Google Apps Script CheatSheet
bigquery.js 0���U P�M�U var projectId = ScriptProperties.getProperty("projectId"); function プロジェクトの取得() { var list = BigQuery.Projects.list(); Logger.log(list); } function データセット作成_更新_削除() { //削除 // BigQuery.Datasets.remove(projectId, "test"); //作成 var dataset = BigQuery.newDataset().setDescription("disp"); dataset .setAccess( [ BigQuery.newDatasetAccess() .setUserByEmail(Session.getActiveUser().g
BigQuery でデータセットをリージョン間でコピー - リノシス開発者ブログ
はじめに リノシスの神谷です。代表やってます。 BigQuery、ご存知の通りリージョンをまたいだクエリーは書けないので、データセット/テーブルが異なるリージョンにあると、これまでは一旦CSV（かJSON）に落として、違うリージョンでテーブル作ってアップロードして、、と面倒でした。 今日、久しぶりにリージョンまたぐ必要があったのですが、改めてググると、なんとリージョンをまたいでデータセットを移行できるようになってるではないですか！なので、その方法のメモ。（まだベータ版だけどね） リージョンをまたいだデータセットの移行方法 BigQuery Data Transfer Serviceというのがあるらしい。 BigQuery Data Transfer Serviceの有効化 以下の手順を実行する必要があります。 プロジェクトを作成して BigQuery API を有効にする → ここ Big
GCPの割り当て(クオータ・Quotas)をAPIから変更する情報見つけたのでやってみる - YOMON8.NET
BigQueryの割り当て(クオータ・Quotas)をAPIから変更する方法を探していましたが、GCP公式ドキュメント見てもコンソールでの作業ばかりしか記載が見つかりません。 cloud.google.com GCPの公式ドキュメントはほとんどの項目でgcloud等で設定するパターンが書かれているので、これは無いのではと思い情報を探していました。 情報を見つけた そこで以下のブログに出会いました。 medium.com I tried to understand how the API worked in the console thanks to the developer mode of Chrome and I found a workaround. Chromeの開発者モードで見ればやり方わかるよ！ なるほど！と思い、やってみたら見つけました。ブログに記載されているAPIが確かに実
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Stop Worrying About BigQuery PII: How to Automate Data Governance at Scale.
Ultimate Guide to Querying Google Analytics 4 Properties or Firebase Data in BigQuery | Bounteous
さえない / saenai on Twitter: "BQ推しが強くBP含む活用事例もまとめられていたので、中の人が書いたのかなと思いきや、まさかの野村総研 / SQLたったの2行で機械学習！BigQuery MLを用いたコロナ分析 https://t.co/B9PepbfML5 #Qiita"
na0 on Twitter: "BigQueryで特徴量作ってると、動的な値の扱いがARRAY頼りで難しい。 以下の前処理はDataprocに任せる方が素直ではある。 オーバーサンプリング スパースマトリックス 多重代入法、最尤法 次元圧縮 形態素解析 bag of words"
BigQuery で 180 日間参照されていないテーブルを出すクエリ
na0 on Twitter: "BigQuery はスナップショット付 削除したテーブルの復元は 2 日前まで bq cp dataset.table@1579878000000 dataset.newtable ※同名テーブル、データセットを作った場合を除く… https://t.co/vOhinsLoep"
GitHub - tamanobi/bq-query-unittest: BigQueryのクエリのロジックをデータ走査量を最小限してテストできるツール