BigQueryはログ等の集計をSQLで行うことができ、JSONを含むような複雑な集計にも対応していますが、protobufというシリアライゼーションフォーマットには対応していません。BigQueryにはJavaScriptでユーザー定義の関数を作る機能があり、これを使ってprotobuf形式のログを集計する機会があったため紹介しています。
BigQueryでprotobufをパースした話 / parsing protobuf in BigQuery
BigQueryはログ等の集計をSQLで行うことができ、JSONを含むような複雑な集計にも対応していますが、protobufというシリアライゼーションフォーマットには対応していません。BigQueryにはJavaScriptでユーザー定義の関数を作る機能があり、これを使ってprotobuf形式のログを集計する機会があったため紹介しています。
BigQueryをオンデマンド料金モデルからBigQuery Editionsへ移行した話 - BOOK☆WALKER inside
こんにちは、メディアサービス開発部サービス分析課の佐藤です。ブックウォーカー社で全社横断のデータ基盤を構築しています。 今年の3月末にBigQueryの新料金体系、BigQuery Editionsが発表されました。これに伴い来月の7月5日より従来の定額モデルが終了し、オンデマンド料金モデルも25％の値上げとなります。 cloud.google.com これまでブックウォーカー社ではスキャンサイズのバーストを防ぐためにGoogle Cloud（GCP）の「割り当てと上限」を利用し、BigQueryにおいてプロジェクト全体のスキャンサイズとユーザーごとのスキャンサイズを制限していました。これはプロジェクト全体、あるいはユーザーが設定したスキャンサイズを上回るとそれ以上の処理を停止させるという制限です。 Webサービス開発に関わる分析業務ではGoogleAnalyticsのエクスポートログやW
【BQML応用記事】BigQuery MLで作った機械学習のモデルでオンライン予測を実施する | DevelopersIO
先にトレーニングデータ(train.csv)をデータセットに追加しておきます。 モデルのトレーニング 先ほど追加したデータを使ってトレーニングを行います。BQMLならSQLで簡単にトレーニングも実施できますね。 使うモデルはXGBoostでいこうと思います。（ちなみに最初はAutoML Tablesを使う予定でしたが、オンライン予測はまだ対応していませんでした） CREATE OR REPLACE MODEL Titanic.xgboost_model OPTIONS( MODEL_TYPE='boosted_tree_classifier', INPUT_LABEL_COLS=["Survived"] ) AS SELECT * EXCEPT(PassengerId, Name, Ticket, Fare, Cabin) FROM `Titanic.train` モデルのエクスポート モ
GitHub - scratchdata/scratchdata: Scratch is a swiss army knife for big data.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
この記事は GMOアドマーケティングAdvent Calendar 2022 7日目の記事です。 こんにちは、GMOアドマーケティングのM.Hと申します。 今回は、GCPのBigQueryに用意されているNet関数を駆使しながら、クエリ文のみでCIDRに含まれるIPアドレスを検索する方法について書いていきたいと思います。 CIDRとは そもそもCIDRとは、クラスレスアドレッシング(Classless Inter-Domain Routing)の略語であり、「サイダー」と読みます。クラスレスアドレッシングはIPアドレスの管理方式の一つであり、スラッシュ「/」を境にしてIPアドレスとサブネットマスクを表現します。 一般にIPアドレスは一連の連続したIPを含むブロック単位で使われることが多く、そういった範囲を示すためにCIDR表記が重宝されます。たとえば各モバイルキャリア会社が持っているIPア
※この投稿は米国時間 2021 年 7 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 多くのお客様が、機械学習（ML）で問題を解決するテクノロジー スタックの選択方法を知りたいと望んでいます。利用可能なソリューションは数多くあります。ご自身で構築できるものもあれば、購入できるものもあります。今回は構築にポイントを置き、各種オプション、解決可能な問題、おすすめについて解説します。 多くのデータでトレーニングするほど優れた ML 応用が実現するまずは重要なコンセプトの確認から始めましょう。つまり、ML モデルの品質は、データのサイズによって改善されるということです。下のグラフが示すように、目覚ましい ML のパフォーマンスと精度は、データサイズの向上によってもたらされます。これはテキストモデルですが、同じ原則が、あらゆる種類の ML モデルに当てはまります。
BigQueryに関する話を自由にしましょう - BigQueryでデータ基盤を作った - BigQueryと他サービスでデータ転送した - BigQuery関数でこんな計算をしている などなど みなさんこんにちは。年末ですね。年末やることといえば、振り返り、総集編ですよね。 BigQueryアドベントカレンダーができたのをみて、「そういえば2019年にやったBigQueryのリリースまとめ的なの、2020年やってないな・・・？」と思い立ち2020年のBigQueryアップデートをまとめました。リリースノート開いたらスクロールバーがすごく小さくなり心が折れかけましたが、なんとか気持ちを奮い立たせました。もしもこんな長い記事を最後までスクロールしてくれる方がいたら、感謝の意を表明しますので、Twitterで @yutah_3 まで教えていただけると、泣いて喜びます。 以下、カテゴリに分けてア
Write queries with Gemini assistance | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Write queries with Gemini assistance You can use Gemini for Google Cloud, which offers AI-powered assistance, to help you do the following in BigQuery: Generate a SQL query. Complete a SQL query. Explain a SQL query. Generate Python code. Complete Python code. Gemini doesn't use your prompts or its
JADEファウンダーの長山です。今日は先日こちらのセミナーでも話した、「検索マーケターがBigQueryで脱初心者するにあたっての考え方」について書きたいと思います。 blog.ja.dev 皆自分を初心者だと言いたい問題 これはある程度どの分野でも存在することかもしれませんが、人によって「初心者」の定義が大きく違う問題が存在します。ダニング＝クルーガー曲線における「啓蒙の坂」を上りきっていない、絶望の谷にいる人々は、本来ならすでに脱初心者しているはずなのですが、あまりに深い絶望のあまりに「何もわからない、自分は初心者だ」と思ってしまうわけです。しかし、本当の初心者は一体自分がどこまでわからなくてはならず、その中で何がわかっていないのかをうまく想像することができないはずです。「何もわからない」と言えている時点で、その人はすでに絶望の谷に降り立っており、初心者ではないのです。 ダニングクルー
freee：データ ウェアハウス構築に BigQuery を採用することで、5 ～ 10 倍のパフォーマンスと運用性、利便性を向上 | Google Cloud 公式ブログ
freee：データ ウェアハウス構築に BigQuery を採用することで、5 ～ 10 倍のパフォーマンスと運用性、利便性を向上 個人事業や中小企業などのスモール ビジネスに携わるすべての人が、自由に自然体で経営できる環境をつくるための「統合型経営プラットフォーム」を開発、提供する freee株式会社（以下、freee）。2013 年 3 月にクラウド会計ソフト「freee」をリリースすると同時に、エンジニア主導でデータ基盤を活用し、ユーザーの事業拡大を支援してきました。このデータ基盤が 10 年を経て、パフォーマンスや運用性、利便性に課題が生じたことから刷新を決定。新しいデータ基盤の中核に BigQuery が採用されています。このプロジェクトについて、プロダクト基盤本部の 2 名に話を伺いました。 利用しているサービス： BigQuery、Cloud Storage、VPC Serv
Googleエンジニアと学ぶGCP［ビッグデータ］
第1回 今求められるデータ基盤とGCP GCPにおけるデータ処理のアーキテクチャーをひもときながら、現在の企業システムで求められるデータ基盤とはどのようなものであるかを整理した上で、それを構築する方法を説明します。 2020.02.17 第2回 BigQueryによるDWHの構築と管理 サーバーレスで柔軟な分析基盤の中心となるデータウエアハウス（DWH）である、BigQueryについて詳しく解説します。どんなものなのかを体感するため、あらかじめBigQueryに用意されたデータを操作してみましょう。 2020.02.17 第3回 BigQueryへのデータ取り込みとメタデータ管理 Google Cloud Platform（GCP）のサーバーレスのDWH（データウエアハウス）であるBigQuery。BigQueryで構築したデータ基盤へのデータの取り込み方法を見ていきましょう。 2020.
Introduction to materialized views | BigQuery | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to materialized views This document provides an overview of BigQuery support for materialized views. Before you read this document, familiarize yourself with BigQuery and BigQuery's logical views. Overview In BigQuery, materialized views are precomputed views that periodically cache th
GA4用のBigQuery クエリ集
本ページはSQLを覚えることを目的にしたページではなく、SQLを使ってGA4のBigQueryからよく使いそうなSQLをまとめたものになります。対象は今までSQLを使ってデータをだした事が無い方、昔一度試して挫折あるいはどうすればよいか分からなくなってしまった方が対象です。そのため「とりあえず使ってみる」事を意識しております。必要な限りコメントを入れて、わかりやすさ優先の記述となっています。そのため必ずしも効率的書き方では無いことをご了承下さい。また本SQLの内容等に関してはサポート対象外となりますので、自己責任でご利用ください。 作成ご協力：@macchaice・@kirin0890・他皆様（感謝！） 利用前の確認事項 自分のデータセットを指定する 例えば以下のようにデータが格納されている場合 fromの部分は以下の通りとなります。保存データごとに変わるので、必ず自社のプロジェクトIDに
去年使い始めたBigQueryについて、BigQueryを使う前の私に教えてあげたいことをまとめてみました。 BigQueryとは Google Cloudで提供されている、データ管理と分析のためのデータウェアハウス（めっちゃデータが入ってる総合的な倉庫と思ってもらえれば）サービスです。 フルマネージドなので、インフラ管理も楽なままSQLクエリだけで大規模なデータ分析基盤を構築できます。 気軽に試すには、Sandbox環境がおすすめです。 DDL(CREATE TABLEとか)は発行できませんが、パブリックデータセットなども存在しているので、基本的な操作は試すことができます。 特徴 BigQueryは早いということがよく特徴として上がりますが、それを実現する二つの大きな要素があります 列指向データベースであること データウェアハウスでは列指向データベースが多いですが、BigQueryも例に
Engineering Education
Prerequisites In this tutorial, one ought to have the following: Basic React and Javascript knowledge. Understanding of npm and how to install from npm Atom or Visual studio code and npm installed...
2021年時点でも、そこそこ参照されているため、BigQuery Advent Calendar 2021 25日目の記事としてアップデートします。 BigQuery リソースのアクセス権設定は難しいですが、データ資産の保護と活用のバランスを自由に設計できます。組織に合わせたアクセス権をうまく設定 & 設計して、データ資産を活かしていきたいですね。 本稿では、アクセス権の設定方法と、叩き台になりそうな具体的な設計例について述べます。 アクセス権の設定方法 BigQuery リソースのアクセス権設定にあたり、覚えておく軸は 3 つです。 具体的な人間やアカウントを示すプリンシパル、権限範囲の対象（プロジェクトやデータセット）を示す対象レイヤ、具体的な一つ一つの権限、これらをおさえておけば、BigQuery の権限設定は安心です。 プリンシパルは Google アカウントを筆頭に 7 種類 以
読書感想文です。 読んだ本 どんな本か 読んだ感想 読んだ本 Google Cloud Platform実践ビッグデータ分析基盤開発 ストーリーで学ぶGoogle BigQuery 著者: 株式会社トップゲート 出版社: 秀和システム ISBN-10: 4798059560 www.amazon.co.jp どんな本か 紹介文より引用 Google BigQuery(ビッグクエリ)は、Googleが自社で保有している膨大なデータを効率的かつ高速に分析するために構築した社内データ分析基盤を一般提供したサービスです。その内部ではBorg、Colossus、Jupiter、DremelなどのGoogle独自のコアテクノロジーが活用されており、実行されたクエリはGoogleの保有する膨大なインフラリソース上で瞬時に並列・分散処理されます。 その処理速度は1000億行のデータセットに対してインタラク
GitHub - qnighy/bqpb: BigQuery UDF to parse protobuf messages
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Send feedback Stay organized with collections Save and categorize content based on your preferences. Introduction to data masking BigQuery supports data masking at the column level. You can use data masking to selectively obscure column data for users groups, while still allowing them access to the column. Data masking functionality is built on top of column-level access control, so you should fam
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能 Google Cloudのデータウエアハウス向けデータベースであるBigQueryに「マテリアライズドビュー」機能がプレリリース版として追加されました。 一般にリレーショナルデータベースにおける「ビュー」とは、仮想的なテーブルのようなものとされます。これによって、BIツールを使ってデータベースへ検索を実行する際などに、複雑なテーブル構成を隠蔽して分かりやすい構成のビューだけを見せたり、特定のユーザーにアクセスを許すビューだけを見せる、といったことが可能になります。 通常のビューは仮想的な存在であり実体を持たないため、ビューに対するクエリは実際にはビューを構成するテーブルに対するクエリに分解され、実行され、結果が返されます。 一方、マテリアライズドビューはテーブルのように実体を持つビューと
初めに 今回は私がGoogle Cloudを選ぶ理由について、いくつか特徴を踏まえながら解説していきます。 それぞれの機能の紹介をしていきますが、詳細は頭出しにとどめ、理解しやすいように簡潔に内容を整理したいと思っております。 また、あくまでも私（室井）が企業でクラウドを選定するのであれば、ここに着目してGoogle Cloudを選ぶよねという視点で記事にします。（個人の見解です） グローバルVPC Google Cloudの大規模なネットワークの概要については、過去に何度か記事にしているのでそちらをご覧ください。 【クラウドの基本機能を解説（AWS , Google Cloud）】 【Google Cloud：ネットワーク関連の特徴【前編】】 最大の特徴として『1つのVPCを定義するだけで全てのリージョンに同じネットワーク内のサブネットワークを定義できる』という事が挙げられます。（＝グロ
Data Catalog のポリシータグで BigQuery カラムレベルのアクセス制御が可能になったので試してみた | DevelopersIO
こんにちは、みかみです。 これまで BigQuery のデータのアクセス制御を指定できる最下層のリソースはデータセットで、テーブルやカラム単位でのアクセス制御はできませんでしたが、Data Catalog のポリシータグを付与することで、カラムレベルのアクセス制御が指定できるようになったそうです。 BigQuery の列レベルのセキュリティで、きめ細かなアクセス制御を ｜ GCP ブログ Introduction to BigQuery Column-level security ｜ BigQuery ドキュメント Restricting access with BigQuery Column-level security ｜ BigQuery ドキュメント やりたいこと BigQuery のカラムレベルのアクセス制御を行うにはどうすればいいのか知りたい BigQuery のカラムレベルの
GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた | DevelopersIO
GCP Cloud IAM と BigQuery のデータセット、テーブル、View へのアクセス制御を確認してみた こんにちは、みかみです。 GCP ＆ BigQuery 勉強中です。 データを取り扱う以上、個人情報の閲覧可能な範囲など、セキュリティには当然十分に気を付ける必要があります。 BigQuery ではどの単位でどうやってアクセス権を指定できるのかという観点から、Cloud IAM と BigQuery のアクセス制御について確認してみました。 やりたいこと GCP の Cloud IAM はどんなものか確認したい BigQuery に Cloud IAM でアクセス制御できるかためしてみたい BigQuery ではテーブル単位でアクセス制御できるのか知りたい GCP の IAM GCP の Cloud IAM は、AWS の IAM と同じようなサービスと考えてよいのかな？
Google AnalyticsのBigQuery Exportを使って検索ログデータ分析基盤を構築した - エムスリーテックブログ
エムスリーエンジニアリンググループ AI・機械学習チームでソフトウェアエンジニアをしている中村(@po3rin) です。 好きな言語はGo。仕事では主に検索周りを担当しています。 Overview 医師に質問ができるサービスであるAskDoctorsではユーザーが質問を検索できる機能があり、今回は検索改善タスクのために検索ログデータ分析基盤を構築したお話をします。これにより改善サイクルを回せるようになったり、検索ログを使った各種アルゴリズムが利用可能になりました。 データ基盤構築では他チームとの連携が必要不可欠であり、コミュニケーションで工夫した点などもお話できればと思います。 Overview なぜ検索ログデータ分析基盤が必要なのか 検索を監視して改善サイクルを回したい 各種アルゴリズムに利用できるデータを取得したい データ分析に利用したい データアーキテクチャを書き出す イベントとデー
この記事は GMOアドマーケティングAdvent Calendar 2020 3日目の記事です。 皆さん こんにちは、GMOアドマーケティングのS.Rです。 前回のブログでは、GCPのSDKでBigQueryを実行する状況をBigQueryのテーブルへ格納するプログラムの作り方を皆さんへ紹介させていただきました。 実際の運用にはBigQueryの実行状況を集計することだけではなく、大きな課金が発生する場合にリアルタイムで責任者へ共有することも重要です。 今回はBigQueryの実行する情報を、よく使われているSlackという業務用チャットツールへ共有する方法を皆さんへ紹介します。 Slack側の設定 1 連携用Slack Appを作ります。 Slackの管理画面を開いてAppの名前やwork placeの名前を指定してください。今回のブログではAppの名前をbigquery_cos
使われないものを作るな！出口から作るデータ分析基盤 / Data Platform Development Starting from the User Needs
AuthorsTwitter@__Attsun__Published onWednesday, February 10, 2021 最近、業務で DWH / Datamart の整備やデータ品質の担保を効率的に行いたくなる事情があり、調査したところ dbt と Dataform がツールとして有力そうだったので、比較してみました。 TL;DRdbt は機能が充実しており、カスタマイズするポイントも多く様々な要件に対応できそうです。反面、理解し使いこなすための学習コストがかかります。Dataform は Web ビューによる開発体験が非常に良いです。機能もほとんどはわかりやすく、迷うことも少ないです。一方、dbt に比較して融通はききづらいです。どちらも十分な機能は備えている素晴らしいツールだと感じるので、どちらが良いかは要求や組織の置かれた状況次第でしょう。私の所属する会社 (Ubie,
GMOアドマーケティングのT.Oです。 SQL式を共有したいと思ったことはありませんか？ 今回はGoogle Colaboratoryを使用して、BigQueryのSQL式を共有するための手順をご紹介します。 0.Google Colaboratoryとは？ Google Colaboratory（略称:Google Colab）とは、ブラウザ上でプログラム（主にPython）を記述、実行できるクラウド上のサービスです。機械学習やデータ分析の分野で利用されているJupyter Notebookというツールをベースにしていて以下のような特徴があります。 環境構築が不要（ローカル環境へのインストールは不要です） GPUへの無料アクセス（計算を高速に行いたい場合にGPUを利用します） 簡単に共有（プログラムや説明の文章、実行結果をノートブックと呼ばれるファイルにまとめて管理、共有できます） 今回
Googleアナリティクス4（GA4）とBigQuery連携まとめ！Exportの方法からデータの確認、可視化までを詳しく解説 | Databeat Marketing Magazine
2020年10月にリリースされたGoogleアナリティクスの新しい規格である、GA4（Googleアナリティクス4プロパティ）。GA4は、BigQueryと連携することで活用の幅を大きく広げることができます。 また、UA（ユニバーサルアナリティクス）は、2023年7月1日でGoogleのサポートが終了します。そのため、Googleアナリティクスをアクセス解析ツールとして利用しつづけるには、GA4への移行が必須です。 そこで今回は、GA4とBigQueryの連携方法からよく使うSQL、そしてLooker Studio（旧Googleデータポータル）を活用した可視化の方法まで、詳しく解説します。GA4のデータをWebサイトやアプリの分析でもっと活用していきたい方は、ぜひご覧ください。
Datastream for BigQuery でプライベートなCloudSQLをニア・リアルタイムに分析する - Assured Tech Blog
こんにちは！エンジニアのオリバーです。最近、個人で翻訳するときに ChatGPT に英訳、和訳させてみることが多くなってきたこの頃です。 久々に少し長めの技術記事を書かせていただきました。最近のトレンドである（と思っている）多様なデータを素早く安全に Google Cloud Platform (GCP) 上で活用するための記事になっています。記事後半には Terraform のサンプルと一緒に構成の説明がありますので興味ある方は最後まで読んでいただければと思います。 直近、GCP の BigQuery にアプリケーションのデータをニア・リアルタイムで同期できる Change Data Capture (CDC)のマネージドサービス、Datastream for BigQuery を利用する機会がありました。今回使用したデータソースは外部からのアクセスを許可していない構成だったのですが、こ
G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との違いなどについて解説します。 概要 新しい価格体系 何が変わるか 値上げか、値下げか 当記事での解説 Physical storage 圧縮後データに対する課金 制約 Active と Long-term タイムトラベル・フェイルセーフへの課金 単価の違いと圧縮率 単価の違い 圧縮率の例 Physical storage への移行 BigQuery Editions BigQuery Editions とは 3つのエディション・料金表 クエリがプロジェクトをまたぐ場合 いつ Editions
SaaSから提供するAPIでデータを持たずにBI機能を提供する Looker Data Science バイスプレジデント ジャパンカントリーマネージャー 小澤正治氏 Lookerの日本法人がビジネスを開始したのは2018年9月のこと、「これまでの10ヶ月はステルスモードでやってきましたが、これからがグランドオープンです」と語るのは、Looker Data Science バイスプレジデント ジャパンカントリーマネージャーの小澤正治氏だ。ステルスモードの間に、日本の20社ほどにLookerは導入されている。Lookerを導入する企業の傾向としては、Eコマースやマーケットプレイス、デジタルマーケティング関連など、膨大なデータを抱えそれがどんどん増えているような企業となる。 Lookerのアーキテクチャは、まずはさまざまなSaaSのアプリケーションや企業が運用している各種データベースなどのデー
Transform your raw data into reliable, documented, up-to-date datasets. Dataform is where your data team works together to build a single source of truth for your company’s data. Collaborate on SQL pipelines in BigQuery without writing code or managing infrastructure.
BigQuery では本当にトランザクション処理がサポートされていないのか確認してみた | DevelopersIO
こんにちは、みかみです。 RDBMS など多くのデータベースでは、複数の SQL をひとまとめで実行し、途中でエラーが発生した場合に実行前の状態に自動でロールバックしてくれる、トランザクション処理をサポートしています。 トランザクション処理 ｜ Wikipedia トランザクション (transaction) ｜ 「分かりそう」で「分からない」でも「分かった」気になれるIT用語辞典 BigQuery のドキュメントには、以下の記載がありました。 各 DML ステートメントは、暗黙のトランザクションを開始します。つまり、成功した各 DML ステートメントの終了時に、ステートメントによる変更が自動的にコミットされます。複数ステートメントのトランザクションはサポートされていません。 引用：データ操作言語 | BigQuery ドキュメント やりたいこと BigQuery は 本当に複数 SQL
G-genの杉村です。Cloud Logging は Google Cloud (旧称 GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。基本的な概念や仕組みを解説していきます。 Cloud Logging 概要 Cloud Logging とは 対象のログ ログの保存先 料金 Cloud Logging の料金 最初から存在するログバケットの料金 ストレージ料金の課金開始 取り込み料金の節約 Cloud Logging が扱う4種類のログ 1. Google Cloudサービスが生成するログ 2. ユーザーが生成するログ 3. セキュリティログ 4. マルチクラウドとハイブリッド クラウドのログ ログの閲覧 閲覧方法 クエリ言語 インデックス ログルーティングとログの保存 ログルーティングとは シンクとは 初期設定で存在するシンク 書き込み ID プロジェクトをまた
また、 BigQuery のストレージ料金は非圧縮の状態のデータサイズが課金対象となります。 Cloud Storage 上に gzip で圧縮した状態で保持することで、ストレージ料金を大きく下げることができます。 Cloud Storage から BigQuery にエクスポートする際に料金が少しかかりますが、それについては後述します。 安定性 BigQuery のテーブルは型を持っているため、何かしらのバグでログに不正な文字列が入ると、 BigQuery へのインサートは失敗します。その場合にログを web server 内部に溜めてしまうと web server のディスク領域が逼迫したり、本番稼働しているサーバーに入っての復旧作業が必要となったりするデメリットがあります。 まずはどんなデータでも受け入れてくれる Cloud Storage にデータを入れてしまい、その後起きうる問題
Herokuのログはどんどん流れていってしまうため、どこかに保存しなくてはなりません。そのため、PapertrailやCoralogix Loggingなどのaddonを使って、外部サービスへlogを流して、そちらである程度の期間分、永続化するなり、検索して活用するなどしているかと思います。大量のアクセスがきて大量のログが流れるアプリケーションの場合、ログが大量になりプランアップにしなければならなくなり、addon料金も馬鹿にならない。ということになったりしないでしょうか？ そこで、addonを使用せずにGoogle BigQueryへログを転送して、利便性を損なわずにコストダウンを図るということをやってみたので、それの紹介です。ざっくりの概要としてはこのような形。 Loggingライブラリ Heroku上のアプリから、Loggingライブラリなどを利用して、Cloud Loggingへ書
はじめに Growth&SuccessでStailerのデータウェアハウスの開発をしています@kazk1018です。この記事では、先日社内で開催した「Data Vault勉強会」を基にData Vaultについて簡単に紹介するとともに、10Xでどのように利用しているかを紹介したいと思います！ Data Vaultについて 「Data Vault」はエンタープライズデータウェアハウス(EDW)を構築するためのモデリング手法です。最初に提案されたのは2000年なので20年以上の歴史があり、2013年には「Data Vault 2.0」が提案され、非構造データへの対応やより実践的なプラクティスなどが追加されました。*1 Data Vaultではデータウェアハウスを構築する全体の流れから、各レイヤーで用いるスキーマの設計まで幅広い範囲のアプローチや手法が提案されています。中でもHub、Link、S
テーブルの場所 GA4のBigQueryエクスポート設定で指定したプロジェクト データセット「analytics_999999999」（「999999999」の部分はプロパティID） テーブル名 前日までのデータ（日付別に）「events_20210101」 「20210101」の部分は日付 今日のデータ、前日未集計分のデータ「events_intraday_20210102」 出力時刻は午前7時ごろ。レポートのタイムゾーンに依存するため、米国のままにしていると夜11時ごろに出力される。GA4ではなくFirebase Analyticsの場合はUTC。タイムゾーン設定がない。 日付でシャーディングされたテーブル GA4のBigQueryエクスポートでは日単位でテーブルが分かれている 前日まで：events_20210101, events_20210102, …, , events_202
視聴動向データの分析基盤を Redshift から Snowflake に乗り換えた話 - PLAY DEVELOPERS BLOG
こんにちは、SaaS プロダクト開発部テックリードの丸山です。 先日、プライベートで使用している AWS アカウントに 15 万円の請求書が届きました。AWS Batch を使用して動画を GPU エンコードする仕組みを構築して運用していたのですが（構築したのは 5 年前）、プログラムの例外処理に不適切な点があり、プロセスが実行中のまま終了しない状態になってしまいました。そのため、コンピューティング環境（GPU を搭載した EC2 インスタンス）が動きっぱなしになり、高額請求される結果となりました。これを教訓に現在は毎日 AWS の料金を Slack に通知するようにしています。読者の皆さまにおかれましても、くれぐれも油断されなきよう。 さて今回は、少し前の話にはなりますが、昨年実施した視聴動向データの分析基盤のリニューアルプロジェクトについてご紹介したいと思います。 視聴動向データの分析
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQueryでCIDRに含まれるIPアドレスを探す(IPv6対応)
各応用方法に適した機械学習アプローチを選択する | Google Cloud 公式ブログ
BigQueryの2020年アップデートを（だいたい）全部振り返る
検索マーケターが BigQuery 脱初心者するには - ブログ - 株式会社JADE
SQLは書けるけどBigQueryは初見の人に贈るざっくりBigQuery
BigQuery アクセス権設定まとめ & グループ設計例 - Qiita
ストーリーで学ぶ Google BigQuery を読んだ - public note
Introduction to data masking | BigQuery | Google Cloud
BigQueryでマテリアライズドビューが提供開始、プレビューとして。複雑なクエリをより高速に実行可能
Google Cloudを選ぶ理由（特徴を踏まえて解説） | DevelopersIO
PythonでBigQueryの実行情報をSlackへ共有する方法
Eurekaの DataPlatform開発状況と再現性の実現
dbtとDataformを比較し、dbtを使うことにした
Google ColaboratoryでBigQuery SQLの共有
BigQueryの料金体系(BigQuery Editions)を徹底解説 - G-gen Tech Blog
Googleに買収されるLookerが日本で本格的にビジネスを始動
Dataform | Manage data in BigQuery
Cloud Loggingの概念と仕組みをしっかり解説 - G-gen Tech Blog
アプリログを BigQuery に入れるまで | BLOG - DeNA Engineering
HerokuのログをBigQueryへエクスポートする | tsuchikazu blog
社内で「Data Vault勉強会」を開催しました - 10X Product Blog
Googleアナリティクス4のBigQueryエクスポート仕様 – marketechlabo