Innovators Hive at Next ’22に登壇しBigQueryの学び方や社内での利用促進、データ管理について話しました - MonotaRO Tech Blog
データ基盤グループの吉本です。 最近急に気温が上がり下がりして着る服を毎日悩んでいます。 先日の10/14(金)にGoogle Cloud主催でInnovators Hive at Next ’22が開催され、その中のBigQueryに関するパネルディスカッションに登壇しました。 パネルディスカッションの模様は下のリンクある動画で見ることができます。 cloud.withgoogle.com 登壇で話したこと パネルディスカッションでは主にBigQueryをどう学んでいけばいいのか、社内に広く使ってもらうためにどう取り組んでいけばいいのか、 そして昨今話題になっているデータマネジメントに絡めてBigQueryにおけるデータ管理について、普段からBigQueryの活用や運用をしているエキスパートのみなさんと話しました。 一登壇者としてはモノタロウにおけるBigQueryの利用促進として、Bi
BigQueryで傾向スコア分析 ~Doubly Robust推定量~｜Dentsu Digital Tech Blog｜note
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryを用いて二重頑健（doubly robust）推定量による効果検証を行うための方法について紹介します。 この記事は過去記事[1]の続編となります。 IPW推定量による効果検証 因果効果とは、仮に介入があった場合のコンバージョン値（例えば購入金額など）と、介入がなかった場合のコンバージョン値の差です。 当然ながら、同一ユーザーにおいてこれらを同時に観測することはできません。 そこで提案されたのが、実際に介入があったTreatment群のコンバージョン値の平均と介入がなかったControl群のコンバージョン値の平均の差分が因果効果である、という平均処置効果（average treatment effect, ATE）です。 しかしながら、現実には交絡因子と呼ばれる介入とコンバージョン値のいずれにも影響を与える要因
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
今年の10月からグロービスのデータサイエンスチームに配属され、2ヶ月間データ基盤構築をしてきました。実際やってきたことを踏まえて、データ基盤の構築時に気をつけるべきポイント7つを紹介していきたいと思います。 最強だと思う分析用データベースを選ぶ ワークフローエンジンでジョブを管理する ステークホルダーとの調整を優先度高くする 権限(IAM)の運用ルールを決める 監視設定を忘れずに メタデータ管理ツールを用意する SQL中心アーキテクチャを意識する 1. 最強だと思う分析用データベースを選ぶ ここが一番大事です。自分が最強だと思う分析用のデータベースを選んでください。ちなみに、私はBigQuery信者なので、BigQueryを強くおすすめしますが、いろんなデータベースがあるので今の環境に一番あった分析用データベースを選んでください。 分析用データベースの全体像を掴むには渡部徹太郎さんの資料「
こんにちは。データサイエンスチームの t2sy です。 Google BigQuery は、Google が提供する高スケーラビリティでコスト効率に優れたサーバーレス型のクラウド データウェアハウス (DWH) です。BigQuery 以外のクラウド DWH は AWS が提供する Amazon Redshift や Microsoft が提供する Azure Synapse Analytics などが挙げられます。 BigQuery を操作する方法は Cloud Console の Web UI、bq コマンドラインツール、REST API、クライアントライブラリの4つがあります。この記事では、bq コマンドラインツールで BigQuery を操作し、使い方を確認してみます。内容としては初学者向けです。 今回、使用する Google Cloud Platform（GCP）のサービスは G
SQL Server、BigQuery、Redshift 日付型の比較＆リファレンス - エニグモ開発者ブログ
この記事はEnigmo Advent Calendar 2020 の14日目の記事です。 はじめに こんにちは、エニグモ 嘉松です。 簡単な自己紹介ですが、BUYMAのプロモーションやマーケティングを行っている事業部に所属して、その中のデータ活用推進室という部署で会社のデータ活用の推進やマーケティング・オートメーションツール（MAツール）を活用した販促支援、CRMなどを担当しています。（データ活用推進室、長らく私一人部署だったのですが、先月1名増えて2名体制になりました！） 目次 はじめに 目次 背景 日付および時刻関連のデータ型 SQL Server BigQuery Redshift タイムゾーンとは？ データ型まとめ 現在日時（日付と時間）の取得方法 SQL Server GETDATE関数 BigQuery CURRENT_TIMESTAMP関数 Redshift SYSDATE関
INFORMATION_SCHEMAを用いたBigQueryのストレージ無駄遣い調査 - ZOZO TECH BLOG
こんにちは、『地球の歩き方ムー』創刊のニュースに心を踊らせている、データ基盤ブロックの塩崎です。 本記事では、データ基盤の管理者としてBigQueryのストレージコストの削減に取り組んだ事例を紹介します。 BigQuery費用はクエリ費用だけではない ZOZOのデータ基盤として利用されているBigQueryは、非常にパワフルなDWH（Data WareHouse）です。しかし、それ故に利用者の意図しないところで費用が高騰することもしばしば発生します。よく問題になるのはクエリ費用の高騰であり、以下のQiita記事はBigQuery利用者の中でも有名です。 qiita.com このクエリ費用の高騰に対し、我々データ基盤ブロックはこれまでに、いくつもの方法で対処してきました。具体的な取り組みの一部は以下の記事で紹介しているので、併せてご覧ください。 techblog.zozo.com techb
Google Cloud Next’24で発表されたBigQueryのアップデート情報をまとめました | DevelopersIO
Google CLoudデータエンジニアのはんざわです。 Google Cloud Next'24において、各サービスで多数のアップデート情報が紹介されました。 この記事では、BigQueryのアップデート情報、特にデータエンジニア向けの情報をまとめて紹介したいと思います！ 新機能が発表されたセッションとその内容を簡単に紹介していきます！ 気になる内容があった方は是非、YouTubeの動画を確認してみてください。 注意点 本記事の内容にBigQuery ML関連のサービスは含まれていません。 不足している情報があれば随時更新します... 2024年4月13日時点では、Google Cloud Next'24で発表された機能のほとんどがリリースノートやドキュメントに反映されていません。そのため今後変更される可能性がありますので注意してください。 Build a unified, open,
dbtvault 入門
データモデリングである Data Vault 2.0 をベースに作られた dbtvault パッケージを使い、 BigQuery に分析用のテーブルやビューを作成する手順をまとめた本になります。 dbt に関する説明は含まれておりませんので、詳しく知りたい方は下記をご参照ください。 https://zenn.dev/dbt_tokyo/books/537de43829f3a0 https://zenn.dev/foursue/books/31456a86de5bb4
電通デジタルで機械学習エンジニアをしている今井です。 本記事では、BigQueryでUplift Modeling分析を行うための方法について紹介します。 広告効果を上げるためには？ 広告効果とは、広告に接触した場合と接触していない場合とのその後のコンバージョン（CV）の差である、と言えます。 介入が無作為に割り当てられるランダム化比較試験（randomized controlled trial, RCT）において、広告効果は平均処置効果（average treatment effect, ATE）として推定できます。 詳しくは過去記事[1]にまとめています。 Uplift Modelingは「広告施策において、その効果を上げるためには誰を広告配信対象とするべきか」を推定するための方法です。 ユーザーの特徴量を 𝐱𝑖 とすると、Uplift Scoreは下記のように算出されます。 Up
Google Cloud Champion Innovators Advent Calendar 2023 の1日目の記事です。 Advent Calendarの初日ということもあり、筆者がなぜGoogle Cloudが好きなのかについて。 筆者が初めてGoogle Cloudに出会ったのは2011年で、 App Engine に恋い焦がれてから、ずっとGoogle Cloudを使い続けています。 現在、仕事ではかなり大きなシステムをGoogle Cloudで扱っていますが、個人で小さなシステムを作るのも好きです。 そんな小さなシステムから大きなシステムまで作れるところも魅力に感じています。 この記事では個人でよく作っている小さなシステムに注力しています。 筆者が魅力に感じているGoogle Cloudの思想としてDatacenter as a Computerがあります。 日本語だとGo
ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化 - Pepabo Tech Portal
こんにちは！GMOペパボで Customer Ops を担当しているもりまい（@morimai）です。今回は、2020年7月に発足した CS 室の Customer Ops チームで取り組んでいる「ペパボのログ活用基盤『Bigfoot』を使った Zendesk のデータ可視化」について紹介します。 CS がひとつになった！Customer Ops チーム立ち上げ CS 室の課題 ペパボのログ活用基盤『Bigfoot』を使った Zendesk の問い合わせデータの可視化 (1)Zendesk のデータを BigQuery へ取り込む (2)BigQuery へ取り込んだ Zendesk のデータをサービスごとのデータセットに振り分ける (3)サービスごとに振り分けられたデータを集計、グラフ化する まとめ CS がひとつになった！Customer Ops チーム立ち上げ 元々ペパボでは、活動拠
本日の Google Data Cloud & AI Summit にて BigQuery に対する超有益なアップデートが発表されました！ 価格体系の変更について、有効的に活用すればコストの最適化ができるものになります。 ヘビーユーザーは当然のこと、ライトユーザーやこれから検証のために少し触ってみたいような方々に向け、 おさらいも交えながら説明をさせていただきたいと思います。 また、弊社内で実際に利用している BigQuery のデータセットに対し、今回の変更でコストがどのように最適化できるのかも紹介させていただきます。 価格体系の変更 まずは、おさらいとして BigQuery の価格体系を解説します。 BigQuery のアーキテクチャはストレージとコンピューティングに分離されています。伴って、BigQuery の料金は、Storage pricing（ストレージ料金）と呼ばれるストレー
web-vitals.js、Google アナリティクス、BigQuery を使用してパフォーマンスを測定する | Google Codelabs
web-vitals.js、Google アナリティクス、BigQuery を使用してパフォーマンスを測定する 1. 始める前に 演習内容 この Codelab で行う内容は次のとおりです。 Google アナリティクス 4 プロパティを BigQuery にリンクします。 web-vitals ライブラリをウェブページに追加します。 web-vitals データを準備して Google アナリティクスに送信します。 BigQuery でウェブに関する主な指標のデータをクエリします。 Google データポータルでダッシュボードを作成し、ウェブに関する主な指標のデータを可視化します。 必要なもの GA4 プロパティを持つ Google アナリティクス アカウント。 Google Cloud アカウント。 Chromium ベースのウェブブラウザ（Google Chrome、Microsof
BigQuery スロット需給バランスの改善 〜クエリのパフォーマンス改善の事例から〜｜Mercari Analytics Blog
メルカリ Analytics Infra チームの na0 です。この記事では、メルカリにおける BigQuery クエリの改善によるスロット需給バランスの改善について紹介します。 2023-03-30 には、新料金体系 BigQuery Editions も発表されています。こちらには、読み取りデータ量課金（オンデマンド モデル）の値上げも含まれており、スロット量課金（BigQuery Editions）との損益分岐点の変化から、クエリのパフォーマンスについて意識する組織は増えていくことでしょう。 今回紹介するクエリの改善は、データ利用者が意識することで、メリットとなる施策です。この記事をきっかけに、BigQuery 利用者がパフォーマンスを意識してクエリを書くことや、必要に応じて詳しい人に相談できるようになることを期待しています。 「クエリが遅い！」問題メルカリ社内の BigQuery
dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureで表現して、データ管理を効率的に行なおう - yasuhisa's blog
3行まとめ dbtのジョブが失敗した際やテーブルの廃止検討の際に、BI上のどのダッシュボードで利用されている(データリネージ)か知るのは重要です TableauのGraphQLのAPIからWorkbookとBigQuery上のモデルの埋め込みの関係を知ることができます dbtのモデルとTableau上で使われているWorkbookの依存関係をexposureとして出力するスクリプトにより、dbtのジョブの失敗やテーブルの廃止がTableauのダッシュボードに与える影響などを調べやすくなりました 3行まとめ 背景 課題: dbtのexposureとしてダッシュボードを手動で記入し続けるのは難しい 解決方法: TableauのGraphQLのAPIを使い、 dbtのexposureを自動生成する 発展的話題 背景 業務において、DWHやデータマートの生成にdbtを、BIツールとしてTablea
Amazon Redshift to BigQuery migration: Overview | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Amazon Redshift to BigQuery migration: Overview This document provides guidance on migrating from Amazon Redshift to BigQuery, focusing on the following topics: Strategies for migration Best practices for query optimization and data modeling Troubleshooting tips User adoption guidance The objective
管理画面からBigQueryを使ってサクセスする - Hatena Developer Blog
ハッピーホリデー！id:cockscombです！！この記事ははてなエンジニアAdvent Calendarの8日目のエントリです。 サービス開発をしていると、限られた管理者のみがアクセスできる画面、つまり「管理画面」を作る必要に迫られます。管理画面では、データベースに登録されたさまざまな情報を検索、閲覧、編集できます。もちろんデータの扱いはプライバシーポリシーに則って、厳密に権限管理をしたり、操作ログを残したりします。 管理画面から情報を検索する 管理画面で、データベース上の情報を検索するという部分について考えます。例えば、特定のメールアドレスで登録している利用者を探したいケースがあるとします。 SELECT *, FROM users WHERE mail = ? MySQLなどの典型的なRDBMSでは、このようなSQLを発行するでしょう。mailカラムにインデックスがあれば（ふつうはあ
bq_sushi#19での発表資料 https://bq-sushi.connpass.com/event/317348/
BigQueryと上手に付き合う4つのTips
この記事は Google Cloud Japan Customer Engineer Advent Calendar 2019 の 20日目の記事です。 はじめにこんにちは、20日目の記事は、僕も大好きな BigQuery について書いてみたいと思います。BigQuery はサーバーレスでスケーラビリティに優れたデータ ウェアハウスです。インフラストラクチャの管理が不要なため、すぐに使い始めることができます！2日目の記事で keiji-san が BigQuery について書いてくれてますので、BigQueryとはなんぞやという方はご参考ください。 このブログでは既に BigQuery を使い始めたユーザーのみなさんがより BigQuery を使いこなしていくための Tips を 4つ厳選してご紹介します！ カスタム割り当てを利用して、コストをコントロールする。承認済みビューを利用して、ビ
BigQuery Emulator の v0.6.0 をリリースしました。 今回のリリースでは、Recidiviz社 の @ohaibbq さんが多大な貢献をしてくださいました。Recidiviz社ではかなり前から BigQuery Emulator を使ってくれているようで、以前から Issue や DM などでそのことを伝えてくれていましたが、@ohaibbq さんが今Qエミュレータの改善にコミットできるということで、 Recidiviz社側で fork して使っていたものに加えていた patch をたくさん送ってくれました。 かなり多くの改善が入っているので、以前エミュレータを試して動かなかったクエリを再度試す良い機会かなと思っています。 @ohaibbq さんからは、嬉しいことに今後も貢献してくださると言っていただけているので、今後の改善も速いペースで進んでいくと思います。素晴らし
ペパボのログ活用基盤「Bigfoot」を Google Cloud Platform に移設しました - ペパボ研究所ブログ
研究員の @zaimy です。ペパボ研究所では、自社が運営するウェブサービスのユーザーの行動ログや属性情報を収集・分析・活用するための全社基盤「Bigfoot」を技術基盤チームと協力して開発・運用しています。 Treasure Data をバックエンドとして2016年に運用を開始したこのシステムを、今年 Google Cloud Platform（以下 GCP）を中心とした構成に移設しました。この記事では移設に至った理由、移設時の工夫、移設後の構成などについてお話します。 目次 Bigfoot とは 移設前の構成と移設に至った経緯 GCP の選定理由 BigQuery の存在 AI Platform の存在 コスト 移設時の工夫 データウェアハウスの並行運用 ワークフローの二段階移行 行動ログのスキーマ設計 移設後の構成 bigfoot/platform bigfoot/cloud-com
別の記事を書く前に、いろいろ試したことの備忘録。 Firestoreのデータをいろいろ見たかったけど、 別プロジェクトの移動してみることにした経緯のまとめ。 試したのは以下の3つ エクスポートデータをBigQueryにインポートしてBigQuery上で確認 node-firestore-import-exportを使ってローカルのJSONファイルとしてエクスポートして確認 別プロジェクトにデータを移行して、別プロジェクト上で確認(この記事) それぞれの方法と注意点は以下の通り。 1. BigQueryにインポートして確認 公式ドキュメントなどで紹介されている通り、 FirestoreのデータをBigQueryにインポートできるらしい。 これが一番いい方法だが、後述するカラム10000制約に引っかかったので、諦める形に。。 流れとしては、こんな感じ。 バックファイルファイルを配置できるようC
【SQL】BigQueryで出力した結果をCSVとして出力し、Google Cloud Platformのバケットにアップロードする方法だお。 - Qiita
SELECT RANK()OVER(ORDER BY attack DESC) AS attack_rank, id, division, attribute, attack, defense FROM `company.staff_list_utf8_manual` ORDER BY 1; OUTPUT この出力結果をCSVデータとしてバケットに保存したい １．SQL実行で出力した結果をCSVデータとしてバケットに出力する方法 １．クエリ結果右の「結果を保存する」からCSVを選択し、保存する。 ２．GCPのバケットを開く ３．保存したCSVをバケットにアップロードする。ドラッグでもいける！ ２．テーブルをCSVデータとしてGCS（バケット）に直接エクスポートする方法 ※テーブルの作成方法はこちらをご参照下さい。 神記事：【BigQuery】Google Cloud Platform（GC
Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 | Google Cloud 公式ブログ
Unity の BigQuery 導入事例 - ペタバイト規模のデータ分析に対応する仕組みと、レポート作成や機械学習への活用 ※この投稿は米国時間 2020 年 6 月 19 日に、Google Cloud blog に投稿されたものの抄訳です。 編集者注: 今回は、ゲーム、アーキテクチャ、映画などの産業向けに開発プラットフォームを提供している Unity Technologies にお話を伺います。エンジニアリングおよびデータ担当ディレクターを務める Sampsa Jaatinen 氏が、最新型テクノロジーの導入をテーマに、どの業界の意思決定者にとっても役立つ貴重なノウハウを公開しています。 Unity Technologies は、リアルタイム 3D（RT3D）コンテンツの作成、運用を行うための世界最先端のプラットフォームを提供しています。1 か月に数十億ものエンドポイントとやり取りす
kcp: Kubernetes APIs Are All You Need #techfeed_live / TechFeed Experts Night 28th
GMOアドマーケティングのT.Oです。 BigQueryの「クエリのスケジュール」機能を使ってみました。この機能を使うとプログラムを書かずにクエリを定期的に実行して、結果をテーブルに書き込むことができるので便利です。ここでは利用手順をご紹介します。 0.前提 クエリのスケジュールを利用するためには、ユーザーに以下の権限が必要です。 ＊）権限が不足している場合、利用できませんので管理者の方に権限の付与を依頼してください。 bigquery.jobs.createまたはbigquery.transfers.update … 転送を更新するための権限です bigquery.datasets.update … データセットのメタデータを更新するための権限です 1.クエリの作成 定期実行するためのクエリを「クエリエディタ」に記述します。以下はクエリの例です。 ＊）「クエリのスケジュール」を実行する前
Google Cloud Next '23 参加レポート 〜Google本社にも行ったよ！〜 - ZOZO TECH BLOG
こんにちは、MA部MA開発1ブロックの齋藤（@kyoppii13）です。 8/29-8/31に開催されたGoogle Cloud Next '23へ参加してきました。今年は4年ぶりとなるオフライン開催で、アメリカ・サンフランシスコで開催されました。弊社からはMA部の齋藤・松岡・中原の3名が参加しました。 今年は生成AIにフォーカスした内容がとても多く、それに関連する新サービスの発表も多くありました。本記事では、現地での様子と特に興味深かったセッションをピックアップして紹介します。 現地での様子 3日間に渡って開催されたGoogle Cloud Nextの会場はモスコーニ・センターという大きな展示施設で、メインルームではキーノート、他ルームでセッションが発表されるというものでした。発表以外にもワークショップやたくさんの企業ブースがあり大変賑わっていました。 Moscone Center Ma
Googleアナリティクス4ではサイト訪問の行動ログをBigQueryに出力できるようになった。 従来のGoogleアナリティクス（ユニバーサルアナリティクス）ではGoogleアナリティクス360（GA360）を利用し、そのうえでGoogleに申請しないとログデータをBigQueryに出力することはできなかった。そのためコスト面での高いハードルがあったのだが、Googleアナリティクス4ではGoogle Cloud Platform（GCP）の従量課金コストだけでログをBigQueryに出力できるようになったのである。以前はこの設定で直接Firebaseの管理画面からダミーアプリを作る手順が必要だったため大変難しかったが、現在ではアナリティクスの管理画面だけでできるようになった。 Googleアナリティクス4というのはもともとアプリ用に存在していたFirebaseの計測機能（Google
はじめに 以前のデータ基盤 3つの問題解決と振り返り 問題1: データパイプラインの更新遅延 解決策 実装 振り返り 問題2: 分析チームへのクエリ修正依頼の増加 解決策 実装 振り返り 問題3: ETLパイプラインにおける加工処理の負債 解決策 実装 振り返り これからの品質に関する改善 はじめに 初めまして、タイミーのDRE (Data Reliability Engineering) チームの土川(@tvtg_24)です。 本記事ではデータ品質の保守に着目してここ1年くらいで試行錯誤したことを振り返っていきたいと思います。 対象にしている読者は以下の方々です。 データ品質について考えている方 データ分析の品質担保に困っている方 ETLからELTへの基盤移行を考えている方 この記事は Data Engineering Study #11「6社のデータエンジニアが振り返る2021」 -
dbt exposureによるデータ基盤アウトプットの登録を自動化しました - Timee Product Team Blog
はじめに 課題感・背景 使用しているBIツールについて BIツールの使用ボリューム感について やったこと：概要 やったこと：詳細 referenced tableにテーブル名ではなくdbtモデル名が入るようにしたことについて 各種アウトプットの公開設定をmeta情報として付与する方針としたことについて tagを追加してexposureの検索性を向上させたこと exposureのnameにシートとダッシュボードのタイトルを反映する方針にしたこと 今後の発展 保守運用の設計 カラムレベルリネージュ ✖️ exposure おわりに We're Hiring!! はじめに こんにちは。okodooonです！！ データ基盤を参照したアウトプットが社内に溢れかえっていませんか？ 弊社は追いきれていないLookerStudioやConnectedSheetがめちゃくちゃ溢れかえっていました。 そんな折
GitHub - goccy/bigquery-emulator: BigQuery emulator server implemented in Go
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
初日のセッションではNTTドコモ サービスイノベーション部 エンジニアの林 知範氏が登壇し、同社が2014年から構築、運用してきたビッグデータ分析基盤「IDAP」において、Google Cloudの「BigQuery」を今年から本格導入した背景や、オンプレミス環境やAmazon Web Services（AWS）環境と組み合わせたアーキテクチャ、BigQuery採用で得られたメリット、BigQuery活用のうえでのTipsなどを紹介した。 本稿では、その後に開催されたGoogle Cloudの記者説明会における質疑応答の内容も合わせて、同セッションをレポートする。
この記事は GMOアドマーケティング Advent Calendar 2021 19日目の記事です。 はじめに こんにちは、GMOアドマーケティングのM.H(@masaseat)です。 自分はGMOアドマーケティングでアドネットワーク「AkaNe」とDSP「ReeMo」のProduct Managerを担当しています。 業務において広告配信結果の分析や、売上や性能のボトルネックをGoogleのデータウェアハウス「Google BigQuery」を用いて分析することが多いのですが、今回はその解析結果をプロダクトマネジメント業務や、広告運用メンバーの業務改善に活かしてみた方法をご紹介します。 分析環境について GMOアドマーケティングでは、広告配信結果のほぼ全てのログがGoogleのデータウェアハウス「Google BigQuery」に収納されています。 GMOアドマーケティングではエンジニア
はじめに dbtを用いたデータ基盤運用がお盛んになったなと個人的に感じます。 よく記事で見かけるのが、DWH製品としてSnowFlake, そしてデータ変換にdbt Cloudでしょうか。 そして DWH製品としてSnowFlake, そしてデータ変換にdbt core を ECS Fargateに乗せてサーバレスにやる方法も最近記事で見ました。 あとは dbt core を AirFlow(Cloud ComposerやMWAA含む)で実行する方法もしばしばみかけます。 しかしどれも自分には、あまりFitしませんでした。なぜならば求めている要件としては以下だからです BigQueryの案件が多いのでBigQueryにクエリ投げれればOK 1日1回のバッチ回せれば良い スケジュール設定できればOK dbtドキュメントもみたい 無課金or微課金(ストレージ料やクエリスキャン料除く)ですませた
※この投稿は米国時間 2023 年 7 月 15 日に、Google Cloud blog に投稿されたものの抄訳です。 BigQuery は、完全にサーバーレスで費用対効果に優れたエンタープライズ データ ウェアハウスです。各種のクラウドで機能し、データに合わせたスケーリングも可能です。ユーザーデータは BigQuery テーブルに保存されます。すべてのテーブルは、列名、データ型、その他の情報を記述するスキーマによって定義されます。 このたび BigQuery に、強制適用されない主キー制約と外部キー制約が導入されました。この投稿では、強制適用されないキー制約と、それが BigQuery のクエリにどのようにメリットをもたらすのかについて詳細に説明します。 制約の定義CREATE TABLE ステートメントを使用してテーブルを作成する際に、テーブルに制約を定義できます。ALTER TAB
※この記事は、2022 Speee Advent Calendar7日目の記事です。 昨日の記事はこちら。 tech.speee.jp みなさんこんにちは。イエウール・ビジネスコンサルタントの椎木陸斗（@rikus1023）です。2021年4月に新卒で入社し、現在はイエウールに加盟いただいている不動産会社様の成果創出支援を担当しています。 普段はビジネスコンサルタントとして働く傍ら、1年ほどかけてBigQueryを活用した提案のアップデートも行っており、最近は各所で徐々にいい事例が生まれてきました。データ活用をチームや組織（特に営業）に浸透させる過程には難所が多かったなと感じています。改めて振り返ってみると大事なポイントを経てきた感覚もあったため、1年の締めくくりとしてそれらをまとめたいと思います。 私と同じように「チームのデータ活用を推進したい！」という方や「営業組織でデータ活用していく
この記事は GMOアドマーケティング Advent Calendar 2019 25日目の記事です。 こんにちは、GMOアドマーケティングのmizkichです。 アドテクなマイクロサービスをGCPのKubernetesで運用しています。 最近、私が扱っているBigQueryのテーブル数が1万を超えてしまいました。 これらのテーブルから、レコード変更があったテーブルだけを抽出する業務があります。 公式に書かれたテーブル最終更新日の取得方法だと、1テーブルあたり2秒ほど掛かります。1万テーブルだと約6時間です。 この取得方法を変更することで、全テーブルの最終更新日を1秒未満で完了できるようになりました。 本記事では、テーブルのメタ情報を取得するための、三つの方法を紹介させて頂きます。 1. bqコマンドでの取得 bqコマンドにはテーブル情報を知る方法が二つあります。 bq lsでは、全テーブル
BigQuery Studio は何者なのか
はじめに こんにちは、クラウドエース データ ML ディビジョン所属の工藤です。 クラウドエースの IT エンジニアリングを担うシステム開発部の中で、特にデータ基盤構築・分析基盤構築からデータ分析までを含む一貫したデータ課題の解決を専門とするのがデータ ML ディビジョンです。 データ ML ディビジョンでは活動の一環として、毎週 Google Cloud の新規リリースを調査・発表し、データ領域のプロダクトのキャッチアップをしています。その中でも重要と考えるリリースを本ページ含め記事として公開しています。 今回紹介するリリースは、BigQuery Studio です。BigQuery Studio の登場により、BigQuery 上で Python ノートブック環境が使えるようになりました。Duet AI によるコード補完もサポートしていますので、非エンジニアの方もデータ分析しやすい環境
BigQueryでprotobufをパースした話 / parsing protobuf in BigQuery
BigQueryはログ等の集計をSQLで行うことができ、JSONを含むような複雑な集計にも対応していますが、protobufというシリアライゼーションフォーマットには対応していません。BigQueryにはJavaScriptでユーザー定義の関数を作る機能があり、これを使ってprotobuf形式のログを集計する機会があったため紹介しています。
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
データ基盤構築をする際におさえておくべき7つのポイント - Qiita
CLI で覚える Google BigQuery
BigQueryでUplift Modeling分析｜Dentsu Digital Tech Blog
sinmetalはなぜGoogle Cloudが好きなのか？
BigQueryに大幅アップデート！コスト最適化の可能性あり | iret.media
BQで天気基盤をつくって、役立つ情報を可視化してみた!
BigQuery Emulator をアップデートしました - Route54
Firestoreのデータを分析するための3つの方法とその注意点 - Qiita
monotaro_devsumi2020winter
BigQueryでクエリのスケジュールを使ってみた
Googleアナリティクス4のデータをBigQuery出力する – marketechlabo
タイミーのデータ基盤品質。これまでとこれから。 - Timee Product Team Blog
NTTドコモがペタバイト級分析基盤で「BigQuery」本格運用開始、背景を語る (1/2)
非エンジニアのProduct Managerが社内のBig Dataを広告運用業務に生かしてみた
dbt Core を GCPのCloud Run JobsやBatchで実行する方法
BigQuery の主キーと外部キーで結合を最適化 | Google Cloud 公式ブログ
営業組織のデータ活用をBigQueryで推進した話 - Speee DEVELOPER BLOG
BigQueryで全テーブルのメタ情報を一括で取得する方法