エンジニアリンググループ、データ基盤チームの鳥山(@to_lz1)です。 私は過去何度かデータ基盤に関連する記事を出していますが、データ基盤チームという肩書を付けるのは今回が初めてとなります。それもそのはず、エムスリーでは2023年4月に新たにデータ基盤チームを新設したからです*1。 エンジニアリンググループ紹介資料にシュッと追加された「データ基盤チーム」 そこでこの記事では、チーム創設の背景や立ち上げ期に行ったこと、そして今取り組んでいることについて紹介させて頂きます。 データ基盤のみならず、エムスリーエンジニアリンググループの雰囲気を知る一助になれば幸いです。ということで、この記事は 【データ基盤チーム ブログリレー1日目】です。 チーム創設の背景 データの品質担保 リアルタイムのデータ連携 より大規模・複雑なデータ活用 立ち上げ期にやったこと ミッションの策定 他チームとの連携強化
taskey株式会社の運営するチャット小説アプリ「ピープ(peep)」では、2019年5月よりビッグデータ分析基盤向けデータ統合自動化サービス「 trocco®」（トロッコ）をご活用いただいております。 スタートアップ企業では専任のデータエンジニアがいることは少なく、アプリケーションエンジニアが分析基盤を整備しなければならないシーンがあるかと思います。 今回お話を伺うtaskey株式会社様も「ピープ(peep)」の分析基盤を構築する中で、同じ問題に直面しました。本来アプリ開発に時間を割かなければいけない状況の中、いかに最短時間で目的を達成したかを、CTO 深見将一様とエンジニア 田代創大様にお話を伺いました。（聞き手：株式会社primeNumber 執行役員CPO 小林寛和） 深見様（以下敬称略）：taskey株式会社はチャット小説アプリの「ピープ(peep)」を運営をしています。 当社の
これなに? この記事はBQMLで利用できるアルゴリズム、モデルを作成する方法と、特徴量生成や評価値の確認などを行うための関数についてのまとめです 一応続き物ということになってますが、前回記事と前々回記事はデータセットの作成までしか行っていないので、BQMLの使い方自体については、この記事だけで完結してます 興味ある方は BigQuery + jupyterで機械学習を行う(その1: データセットの作成)(前々回記事) BigQuery + jupyterで機械学習を行う(その2: 前処理、EDA、特徴量生成)(前回記事) をお読みいただけると嬉しいです なお、すべての処理はjupyter上で行い、この記事自体もjupyterで書きました(jupyter上でbqを使用する方法については前々回記事参照) from google.cloud.bigquery import magics from
【アップデート情報】 BigQueryで主キーと外部キーが正式にサポートされるようになりました | DevelopersIO
Google Cloudのデータエンジニアをしています、はんざわです。 先日のアップデートで主キーと外部キー正式にGAになりました。 BigQuery release notes とはいえ、大多数の人が想像するRDBの主キーや外部キーと挙動が違ったりする部分もあるので実際の検証も含めながら触っていきたいと思います。 できないこととできること できないこと 主キーと外部キーの制約は強制しない、つまりデフォルトでは重複もNULLも許容される。 （ユーザー側で制約に一致することを確認する必要がある）。 できること 結合のパフォーマンス大幅改善 さっそくテーブルを作ってみましょう。 主キーと外部キーの登録方法 例として、以下のようなテーブルで考えてみます。 color_table id color
BigQueryのデータのアクセス権限・セキュリティを考える｜グルーヴノーツ - MAGELLAN BLOCKS
アクセス権の設定 以下の単位できめ細やかにアクセス権を設定することができます。 データセット テーブル 列 行（AuthorizedView） 制御しながらデータを見せる アクセス権とは違い、クエリの結果しか見せない、暗号化してしまうということもできます。 AuthorizedView 暗号化関数 監査ログ 誰がいつ、どこで、何をしたかの監査ログを取ることができます。 Cloud Logging（今回はこちらに関して触れませんが、とても大事なことです） データのアクセス権とジョブ（クエリ）の設定について アクセス権の設定の前に、この件を先に触れます。 BigQueryでは、データにアクセスする権限と、ジョブ（クエリ）を発行する権限が明確に分かれています。前者はBigQueryでデータセットやテーブルに対して付与します。後者はIAMでプロジェクトに対して付与します。 最初のうちは、この点を理
こんにちは！Acompanyのマッケイです！ 今回は、2023年8月にプレビュー版リリースされたBigQueryのデータクリーンルームについて、その概要を調べ、実際に触ってみたのでまとめてみました。 データクリーンルームとは データクリーンルームとは、プライバシーを保護しながら複数事業者のデータを連携できる環境のことです。 データの中でも特に個人情報といったセンシティブデータを連携するための環境として利用されることが多く、データクリーンルーム内ではデータは完全に保護されており、データを公開することなく共有、統合、分析などに行われます。 Analytics Hubとは？ Analytics Hubは、組織間での大規模なデータ共有を可能とするデータ交換プラットフォームです。 Analytics Hubを利用することで、組織は煩雑なIAM管理やプロジェクト管理から解放され、「誰に」「どのようなデ
こんにちは。SRE部DATA-SREチームの塩崎です。Software Design誌の2021年9月号に弊社でのBigQuery活用事例を寄稿しましたので、書店などで見かけた際は購入していただけますと嬉しいです。 gihyo.jp さて、BigQueryはコンピュートとストレージを分離することで高いスケーラビリティを達成しているData WareHouse(DWH)です。しかし、そのアーキテクチャを採用したがゆえに権限モデルが複雑化し、初心者にとって理解の難しい挙動をすることもあります。この記事ではBigQueryの権限モデルをコンピュートとストレージの分離という観点から紐解きます。 なお、記事中に記載している費用は全てUS Multi Regionにおけるものです。asia-northeast-1 Resion（東京）とは異なりますので、ご注意ください。 よくあるエラーとそこから湧く疑
目次 はじめに 自己紹介 内容概要 基本設計 TCVのビジネスモデル 施策内容 システム構成 フェーズ１: とりあえずAutoMLを使ってみる フェーズ２: 目的変数を変える フェーズ３: BigQuery MLの導入による検証高速化 フェーズ４: 国別 フェーズ５: 回帰ではなく分類へ フェーズ６とその先へ おわりに はじめに 自己紹介 じげん開発Unitデータ分析基盤チームの伊崎です。 開発Unitは特定の事業部に所属しない全社横断組織です。 その中で、データ分析基盤チームは全社のデータ基盤の整備、データ利活用を担当しています。 私個人としては、大学で純粋数学を学んだ後、前職でエントリーレベルの機械学習エンジニアとして働きました。現職では半分データエンジニア、半分データサイエンティストとして働いています。 プライベートでKaggleに参加し、銅メダルを獲得した経験があります（最近は活動
IT基盤部の nodoka です。 私の業務はWebサービスの運用が中心でしたが、数年前からHadoopを中心とした分散基盤環境のインフラも見るようになりました。 当初は巨大なHadoop環境の管理を体系化して引き継ぐことと、運用における属人性を排除することが喫緊の課題でした。 それが落ち着くと、ご多分に漏れずクラウド化を検討・推進するようになったので、その流れをまとめてみようと思います。 DeNAのHadoop環境と改善策 Hadoopが抱える課題 GCPへの移行 embulk利用におけるTips DeNAのHadoop環境と改善策 DeNAにおけるHadoop環境の歴史は古く、DeNAのほとんどのサービスが利用しています。 各サービスでは分析したいログやDBのスナップショットをHadoopのファイルシステムであるHDFSに一旦置きます。 そのHDFSに置かれたファイル群をHadoopを
BigQueryがDocument AIを統合。請求書など画像データの内容をSQLで検索可能に、AIが画像から項目や数値を自動抽出
BigQueryがDocument AIを統合。請求書など画像データの内容をSQLで検索可能に、AIが画像から項目や数値を自動抽出 Google Cloudは、大規模並列データ処理サービスのBigQueryに、画像データから自動的に内容を抽出するAI機能「Document AI」を統合したと発表しました。 Document AIは、請求書や領収書、パスポート、契約書といったドキュメントの画像データを与えると、その項目と内容を生成AIによって自動的に抽出する機能を提供します。 BigQueryがDocument AIを統合することで、BigQueryからSQL文を用いてドキュメントの画像データ群に対して問い合わせが可能になります。 例えば、Google Cloud Storageに請求書の画像スキャンをまとめて保存しておき、BigQueryで今月の日付の請求書の合計金額をSQLで求める、など
こんにちは。GMOアドマーケティングのH.Tと申します。 目新しいネタではないのですが、Cloud Pub/SubでBigQueryの「スケジュールされたクエリ」の結果をSlack通知してみたのでご紹介いたします。 きっかけ BigQueryの「スケジュールされたクエリ」が便利で使っています。 「スケジュールされたクエリ」はクエリ失敗時の通知オプションとしてメールかPub/Subから選べるのですが、システム通知をSlackで受け取りたいのでCloud Pub/Sub→Slack通知の連携を試してみました。 システム連携概要 以下図のとおり、BigQuery→Cloud Pub/Sub→Cloud Functions→Slackという形で連携します。 設定の流れ 1.まず、受け取りたいslackのwebhook urlを用意しておきます。 (slack側の準備は本記事では割愛させていただきま
Logica
Logica is an open source declarative logic programming language for data manipulation. Logica extends syntax of logic programming for intuitive and efficient data manipulation. It compiles to SQL thus providing you access to the power of SQL engines with the convenience of logic programming syntax. Examples One may say that for programming languages like Python and Java functions are the basic bui
自分がなんとなくBigQueryのクエリを書いていてハマった罠について列挙しておきます。 ドキュメントをちゃんと読めば書いてあったりするのですが、普段はそこまで細かく見てなかったりするんですよね……。 BigQueryのカレンダー | Advent Calendar 2023 - Qiita の16日目の記事です。 CAST(value AS INT64) は切り捨てではない 他のプログラミング言語などをやっているとなんとなく整数型にキャストすると切り捨てのような気がしてしまいますがBigQueryは違います。 四捨五入的な挙動になります。 SELECT CAST(1.5 AS INT64) -- => 2 Returns the closest integer value. Halfway cases such as 1.5 or -0.5 round away from zero. h
この記事は BASE アドベントカレンダーと Looker アドベントカレンダー 8 日目の記事です。 はじめに BASE BANK 株式会社にて事業開発を担当している猪瀬 (@Masahiro_Inose)です。 私達のチームでは、BASE ショップを運営しているショップオーナー様が簡単に資金調達をできる「YELL BANK」というサービスの開発・運営しています。 thebase.in 今回の記事は以下の二部構成となります。 前半部分は私からLookerという BI ツールを使って、サービス利用者の利用状況や関連情報を一元的に把握できる、「ショップカルテ」なるものを作成したことについて紹介します。 後半部分は Looker で扱いやすくするためのデータの加工を担当した永野(@glassmonekey)から、データ基盤周りやデータ加工の工夫した部分について解説します。 ちなみに過去の記事の
EKS(Kubernetes)上にDigdag・Embulk・Redashで分析環境を構築する - Koichi Ishida blog
目次 ワーカーノードの作成 DigdagとEmbulkのDockerビルド KubernetesにDigdag/Embulkをデプロイ Redashの導入 まとめ Kubernetes上に分析環境を構築する機会があったのでどのように構築したかを紹介します。同じような構成でKubernetes上で構築するのは3回目になったので構築方法も洗練されてきました。構成は以下のようになっています。 MySQL(RDS): サービスのデータベース。ここのテーブルからBigQueryにEmbulkでデータをエクスポートします。 PostgreSQL(RDS): Digdagのデータベース。今回新たにつくりました。 Digdag: データベースのエクスポートなどを実行するタスクスケジューラ。失敗したときにリトライもできます。 Embulk: プラグインを使ってデータベースをMySQLからBigQueryにエ
Flex Slotsを用いたBigQueryのコストパフォーマンス改善と運用 - ZOZO TECH BLOG
こんにちは、SRE部の谷口（case-k）です。私たちのチームではデータ基盤の開発や運用をしています。1年ほど前からBigQueryのコストパフォーマンス改善を目的にFlex Slotsを導入しています。 本記事ではFlex Slotsの導入効果や運用における注意点、ワークフロー設計についてご紹介します。BigQueryのコストやパフォーマンスで課題を抱えているチームや管理業務を行っている方の参考になれば幸いです。 BigQuery Reservationsとは コミットメント 予約 割り当て なぜFlex Slotsを使う必要があるのか Flex Slotsを用いたコストパフォーマンス改善設計 管理プロジェクトの作成 月次コミットメントの活用 Flex Slotsの活用とワークフロー設計 ワークフロー タスク 「コミットメントの購入」タスク 「コミットメントの削除」タスク 「予約」タスク
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
「みんなで学ぼう 〜 Google Cloud オンライン体験プログラム 〜 」に参加しました - Pepabo Tech Portal
はじめに EC事業部シニアエンジニアリングリードの@kenchanです。 2022年6月いっぱい開催されていたみんなで学ぼう 〜 Google Cloud オンライン体験プログラム 〜 に社内の有志を募って参加しました。このプログラムは、2022年6月2日から6月30日までの間、Google Cloudのオンライン学習コンテンツであるGoogle Cloud Skills Boostを無料で利用できるというもので、その内容はGoogle Cloudが提供するクラウドインフラからAI関連のプロダクトまで多岐に渡るものでした。 Google Cloud Skills Boostでの学習カリキュラムは、いくつかの課題や動画コンテンツからなる「ラボ」、ラボが複数あつまる「クエスト」、「クエスト」が複数あつまった「コース」という構成になっています。クエストやコースを修了すると、カリキュラムにあわせた
Infrastructure Democratizing data analysis with Google BigQuery Every day, over a hundred million people come to Twitter to find out what’s happening in the world and talk about it. Every Tweet and user action generates an event that we make available for internal data analysis at Twitter. Hundreds of employees analyze and visualize this data, and improving their experience is a top priority for t
はじめに これは Angular Advent Calendar 2019 10日目の記事です。 こんにちは (｡･ω･｡) Angular と Firebase で CGM サービス（一般ユーザー投稿型サービス）を開発している者です。 早いもので、Angular Advent Calendar も 3 回目の参加となります。 例年ではなんとなく不吉な 4 日目をいただいていたのですが、今年も募集当日にエントリーしに行くと既に 9 割ほどの枠で参加表明があり、狙っていた？ 4 日目も埋まっていました。 （どこでも良いので他の人が嫌がる確率が高そうなところに入ったろの精神 今まで #1 しかなかったカレンダーが今年は勢いそのまま #2 まで誕生し、ここ 1 年での Angular コミュニティの成長を実感しています (ﾉﾟ∀ﾟ)ﾉ 小話はこの辺で... この記事では、約 2 年間 Angul
はじめに Looker StudioはGoogleが無料で提供しているBIツールです。無料でもかなりの機能が揃っており、BIの活用にあたっては大変重宝する存在になっています。ただし、以前「後回しにするとどうしようもなくなる（かもしれない）Looker Studioの権限を理解する」で整理したように、組織管理という観点で難があるのは事実です。 それは例えば、レポートを組織的に管理する機能がなかったり、Google CloudのIAMを利用した権限管理ができなかったりすることが挙げられます。Looker Studio Proという有償版のサービスでは、こうした組織管理を円滑にするような機能拡充がされています。 とはいえ、実は様々なデータをフル活用すると無料版でもできることは多くあります。今回は、そんな裏技的Tipsを5つ紹介しようと思います。 こんな方におすすめ Looker Studioの組
GitHub - GoogleCloudPlatform/bigquery-utils: Useful scripts, udfs, views, and other utilities for migration and data warehouse operations in BigQuery.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Google BigQueryからAmazon Redshiftにデータを移行してみる | NHN テコラス Tech Blog | AWS、機械学習、IoTなどの技術ブログ
更新履歴 – 2020/1/8 記事内容の修正を行いました。 はじめに こんにちは。データサイエンスチームのmotchieです。 データウェアハウス(DWH)を使うことで、大規模なデータに対する高速なクエリ処理が実現し、BIを初めとした様々なデータ活用が可能になります。 クラウドDWHといえば、Amazon RedshiftやGoogle BigQueryなどが有名です。 re:Invent2019では、Redshiftの新機能 Amazon Redshift RA3 ノードが発表されました。 RA3ノードはAWS Nitro Systemベースの次世代コンピュートインスタンスで、頻繁にアクセスされるデータはノード上のSSD、それ以外はS3へ自動で配置されるマネージドストレージを備えています。 RA3ノードによって、以下のように、Redshiftは大きな進歩を遂げました。 ・従来のDS2ノ
BigQueryにおけるdbtの増分更新についてまとめてみた - Timee Product Team Blog
はじめに ※Timeeのカレンダー | Advent Calendar 2023 - Qiitaの12月8日分の記事です。 okodooooooonです BigQueryの料金爆発。怖いですよね。 dbtでの開発が進んでたくさんのモデルを作るようになると、デイリーのビルドだけでも凄まじいお金が消えていったりします（僕はもう現職で数え切れないくらいやらかしてます）。 コストの対策として「パーティショニング」「クラスタリング」などが挙げられますが、今回は「増分更新」の観点で話せたらと思います。 「dbtのmaterialized=’incremental’って増分更新できておしゃれでかっこよくてコストもなんとなく軽くなりそう！」くらいの認識でさまざまな失敗を経てきた僕が、BigQueryにおけるincrementalの挙動を説明した上で、タイミーデータ基盤における増分更新の使い方についてまとめ
BigQuery や Google Workspace のログを使って分析環境を管理する｜Mercari Analytics Blog
BI Product チームの野本です。 メルカリでは Google BigQuery 監査ログと Google Workspace ログイベントを BigQuery にエクスポートして、データ分析環境の管理に活用しています。アクセス履歴を詳細に調べられる BigQuery 監査ログは、分析環境のコスト最適化やテーブルの変更時の影響範囲調査などの管理業務にとても便利です。 BigQuery の利用が増えてくると、過剰に高頻度なクエリジョブや、使われずに放置されたテーブルなどにかかる無駄なコストも増大していきます。これらの使われていないジョブやテーブルを抽出し削減することで、BigQuery の計算やデータの保管にかかるコストを削減することができます。 メルカリでは、BigQuery 監査ログ、Google Workspace ログイベントを活用して、分析環境の管理業務に役立てていますので、
GO TechTalk #19 タクシーアプリ『GO』事業成長を支えるデータ分析基盤の継続的改善！
■ 内容 ・タクシーアプリ『GO』のデータ基盤の全体像（鈴木） p. 3~ ・車両位置情報データの圧縮によるCloud Pub/Subのコスト削減（牧瀬） p. 8~ ・AWS Aurora S3 Export を利用した、負荷をかけない GCP BigQuery へのデータ連携 (伊田) p. 23~ ・到着予想時間（ETA）サービスの特徴量のニアリアルタイム化（鈴木） p. 39~ ■ YouTube https://www.youtube.com/live/sD8IpwoIkaw?feature=share&t=170 ■ connpass https://jtx.connpass.com/event/282134/
BigQuery Omni for multi-cloud data analytics | Google Cloud Blog
Debanjan SahaGeneral Manager and Vice President of Engineering, Data Analytics Editor’s note: BigQuery Omni is now generally available. For the most up to date information, please read our BigQuery Omni GA blog here. Today, we are introducing BigQuery Omni, a flexible, multi-cloud analytics solution that lets you cost-effectively access and securely analyze data across Google Cloud, Amazon Web Ser
BigQuery独自エラーのトラブルシュート集
このエントリーは、GMOアドマーケティング Advent Calendar 2020 の 10日目の記事です。 こんにちは、GMOアドマーケティングのmizkichです。 DMP(Data Management Platform)の開発運用を担当しています。 このDMPで利用しているBigQueryは、一千億を超えるレコードでも数分で処理してくれる、非常に高い高速性が魅力です。 その反面、通常のリレーショナルデータベース(RDB)では起こらないエラーがたびたび発生してしまいます。 この記事では、BigQuery独自の様々なエラーを回避する方法を紹介します。 ・はじめに 従来のRDBでは、最も効率的な実行計画を意識してSQLを書けば、PARSE(評価)もEXECUTE(実行)も正常に高速に処理されました。 BigQueryでは、実行計画を意識しただけでは複雑なSQLは実行出来ません。 Big
本記事は Classi Advent Calendar 2020 15日目の記事です。 こんにちは。データAI部でデータエンジニアをしている@tomoyanamekawaです。 GCPにはデータ処理関連のサービスが複数あり、「Aにあるデータを加工してBに置きたい」といった処理（ETL処理）の実現方法がGCP内のサービスに限っても様々な選択肢があります。 また、data*といった似た名前のサービスが多く、初見だとわかりづらい部分があります。 そこでそれらサービスの使い分けの参考になればと思ってまとめます。 GCPにあるETL処理関連のサービス紹介 ETL処理に関連するサービスだけでも下記のように複数あります。 Cloud Composer Apache Airflowをベースにしたワークフロー管理サービス。 裏でGKEが立っていてユーザーからクラスターやインスタンスも見えて、少し管理が必要な
オウンドメディア担当者が知っておきたい GA4 × BigQuery 後編（寄稿：小川卓） - はてなビジネスブログ
株式会社HAPPY ANALYTICSの小川卓（id:ryuka01）です。 今回は、全2回で Google アナリティクス4（以下「GA4」) × BigQuery に関して紹介をしていきます。 後編となる第2回は、BigQueryとGA４の連携方法や、GA4のデータをより活用するための方法についてご紹介していきます。GA4 × BigQuery を活用することで、オウンドメディアの分析や効果の可視化に大きく役立つと思いますので、ぜひ参考にしてみてください。 なお、BigQuery内でGA4データがどのように保存されているかなど、データ構造に関しては本記事で詳しく触れませんのでご理解いただければ幸いです。 BigQueryとGA4の連携方法 BigQueryのセットアップ Google Cloudのアカウントを作成 BigQueryのプロジェクトを作成する GA4からBigQueryにデ
横浜銀行：次世代マーケティング プラットフォームを Google Cloud のテクノロジーをフル活用して構築、パーソナライズされた顧客体験を提供 | Google Cloud 公式ブログ
横浜銀行：次世代マーケティング プラットフォームを Google Cloud のテクノロジーをフル活用して構築、パーソナライズされた顧客体験を提供 神奈川県を地盤とし、2020 年 12 月に創立 100 周年を迎えた株式会社横浜銀行（以下、横浜銀行）では、これからの 100 年に向けて新しい金融企業への変革を推進しています。その中で、デジタル時代の One to One マーケティングの実現を目的として、Google Cloud を核としたマーケティング プラットフォームを構築しました。この構築プロジェクトに携わったメンバーの皆さんに話を伺いました。 利用しているサービス： BigQuery、Cloud Composer、Cloud Interconnect、Cloud Storage 利用しているソリューション： マーケティング分析 アド テクノロジーとしての Google 、クラウド
[レポート] Fivetran x BigQuery x dbt で実現する”モダン データスタック”の概要と導入事例 #GoogleCloudDay | DevelopersIO
2023年05月23日(火)〜25日(木)の3日間に渡って行われている『Google Cloud Day ’23 Tour』。 当エントリでは、23日に行われたセッション「Fivetran x BigQuery x dbt で実現する"モダン データスタック"の概要と導入事例」の内容をレポートします。 セッション概要 当セッションの概要情報は以下の通りです。 セッションタイトル： Fivetran x BigQuery x dbt で実現する"モダン データスタック"の概要と導入事例 登壇者： 瀬沼 裕樹氏(株式会社CloudFit 代表取締役) 林 祥子氏(Fivetran Inc. 営業 アカウント・エグゼクティブ) セッション概要： データ領域でトレンドになりつつある"モダン データスタック"。クラウド ネイティブな技術を利用することで、導入・運用コストを下げて、効率的にデータ活用を
![[レポート] Fivetran x BigQuery x dbt で実現する”モダン データスタック”の概要と導入事例 #GoogleCloudDay | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/673b177bbdbe3b285428f62ec338eef712c8dbcc/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F05%2Ffivetran-bigquery-dbt_1200x630.jpg)
[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介 - NTT Communications Engineers' Blog
DevOpsプラットフォームの取り組みを紹介する8回目の記事です。 Qmonus Value Stream 開発チームの浅井です。 連載第8回では、Qmonus Value Streamのアーキテクチャとその技術スタックについて紹介します。 これまでの連載ではQmonus Value Streamで利用している技術要素として、第4回ではデータ記述言語であるCUE言語を、第5回ではKubernetes NativeなオープンソースフレームワークであるTektonを紹介してきました。 Qmonus Value Streamではこれらの技術要素に加え、複数のGCPプロダクトやSaaSを利用することでシステムを構築しています。 本記事では、Qmonus Value Stream全体のアーキテクチャと、利用している主要なフレームワークやサービスについて紹介します。1つ1つの要素についての説明は少ない
![[DevOpsプラットフォームの取り組み #8] Qmonus Value Streamを支えるアーキテクチャの紹介 - NTT Communications Engineers' Blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/8531aa9198d2c16dd56a5704906cc8b67453a466/height=288;version=1;width=512/https%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2FN%2FNTTCom%2F20221107%2F20221107085951.png)
はじめに こんにちは。ZOZOTOWN部サービスグロースチームでアナリティクスをしている井ノ口です。 この記事ではBigQueryで使える、ユーザー定義関数（UDF）という便利な武器をご紹介します。「UDFって何？」「何のために使うの？」という方に向けた記事のため、高度な分析などはこの記事では扱いません。 UDFとは UDFとは、最初から用意されているSUMやCOUNTのような関数を、ユーザー自身が定義する関数です。 私のチームではGoogle Analyticsのデータから、ユーザーが閲覧したページを分類したり、日時を計算したりする際などにUDFを用いてます。利用法など詳細は公式のドキュメントに記述されているため、そちらをご参照ください。 参考：標準 SQL ユーザー定義関数 | BigQuery | Google Cloud UDFを使うメリット 使い方によって様々なメリットを受けられ
BigQuery データ共有にはデータセットへのアクセス権の付与より Analytics Hub を選ぶ - Qiita
BigQuery データセットへのアクセス権付与の特徴 BigQuery データセットへのアクセス権付与は、特定のユーザーやグループに対する直接的なアクセス管理を可能にします。これは小規模な共有には適していますが、大規模な組織や多くの外部パートナーとの共有では管理が煩雑になりがちです。特に、大規模なデータアクセスの場合、アクセス権の管理がセキュリティ上の課題となります。行レベルセキュリティと組み合わせるにしても、大量のアクセス権をデータセット単位で正しく設定するのには限界があります。 Analytics Hub と比べると以下のような特徴を持ちます。 BigQuery 全オブジェクトと機能、リージョンをサポート 新機能をすぐに使えるのが魅力 access 監査ログが残る BigQuery IAM で一貫性のある権限設定 Analytics Hub の特徴 Analytics Hub は以下
BigQuery の外部テーブルと Hive パーティショニングレイアウトで優勝する記事 | メルカリエンジニアリング
こんにちは、メルペイ DataPlatform チームの @syu_cream です。 突然なのですが皆さんは BigQuery は使っていますか？ うんうん、やっぱり使っていますよね。 メルカリ、メルペイでも KPI 分析や機械学習への応用、お客様からのお問い合わせに関わる調査、開発用ログへのクエリなど様々な用途で活用しています。 筆者が所属する DataPlatform チームでも様々なマイクロサービスと BigQuery を繋ぎこむのに一役買ってたりもします。 この記事では、そんな BigQuery が持つ便利であるがあまり触れられる機会がない外部テーブルと、最近追加された機能である Hive パーティショニングレイアウトのサポートについて触れていきます。 いかにして BigQuery でクエリできるようにするか 先述の通り、メルカリ及びメルペイでは BigQuery が多様なシーン
Looker Advent Calendar 2020 2日目の記事です。 この記事ではLookerの活用例を紹介します。 免責事項 正確にはLookerそのものに関する話ではなく「Lookerを含めて様々なツールを組み合わせることでビジネスを加速させようぜ！」という話です。 本稿は筆者個人の見解であり、所属組織を代表するものではありません。不適切・考慮不足だと感じさせてしまう点があれば、それは筆者個人の責任によるものですので、どうぞ筆者個人宛てにご指摘のコメントをいただけますと幸いです。 ランチ返上の突貫執筆なので気が向いたときに手直しします。 誰？ はじめまして。 ゆずたそ (@yuzutas0) と申します。 『データマネジメントが30分でわかる本』 という本の著者です。 筆者が関わっているFinTechベンチャーでは「金融事業としての品質」「ベンチャーとしてのスピード」の両立が求め
Firebase イベント データ分析のための Google Cloud 活用方法 (1) Firebase イベント データのスキーマ
本連載についてモバイルやウェブ アプリケーションの KPI を改善させるためには、ユーザーの日々の利用状況や行動を適切に把握した上で、施策を検討して実施することが重要となります。特に、実際に KPI 改善施策を検討して実施する企画者やマーケターが、自分自身でデータを分析し、その結果にもとづいて施策を検討できるようになることは、「現状把握 → 施策検討 → 施策実施 → 効果測定」という KPI 改善のサイクルを迅速に回すために必要不可欠となっています。 Firebase SDK で開発されているアプリケーションについては、Google Analytics for Firebase を利用することで、ユーザーのイベント データを簡単に Google Analytics で収集できるようになっています。さらに、収集したイベント データを BigQuery へエクスポートすることにより、企画者や
この記事はエムスリーAdvent Calendar 2023の17日目の記事です。 こんにちは、エムスリーエンジニアリンググループ/ BIR(Business Intelligence and Research) チーム の遠藤(@en_ken)です。 皆さんGoogleスプレッドシート使っていますか？ エンジニアだとあまり使わない方もいるかも知れませんが、BigQueryとの連携が非常に容易なため、 データをビジネスサイドに見せたり分析したりする際には便利なツールです。 BigQueryをバックエンドと考えると、スプレッドシートは簡易なフロントエンドのフレームワークとも捉えられます。 ちょっとしたビューの変更はセルで行えるため、 BIRでは業務を整理する際のプロトタイピングとして、 あるいはビジネスサイドの要件でExcel的なインタフェースが好ましいときのアプリケーションの作成方法として
公開論文から学ぶ Google のテクノロジー : パート 3：データベース技術編 | Google Cloud 公式ブログ
Google Cloud のサービスは、Google が長年にわたって構築してきたグローバルネットワーク、そして、世界各地のデータセンターによって提供されています。これは、Google 検索をはじめとするさまざまな Google のサービスを支えるインフラでもあり、その上では、Google 独自の技術を活用したさまざまなミドルウェアが稼働しています。 Google のエンジニアは、自分たちが開発した技術の詳細を論文として公開しており、これまでに公開された論文は、Google の研究チーム、Google Research の Web サイトにある Publication Database で検索できます。このブログシリーズでは、次の4つの分野に分けて、Google Cloud の技術に関連の深い論文を紹介していきます。 分散処理基盤（コンテナ技術）とデータセンター ネットワーク技術 データベ
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エムスリー、データ基盤チームはじめました - エムスリーテックブログ
アプリケーション・エンジニアが1人でつくる、チャット小説アプリの分析基盤 | trocco®(トロッコ)
BigQuery MLの使い方についてのまとめ - Qiita
BigQueryの大本命！BigQuery データクリーンルームを実際に触ってみた
コンピュートとストレージの分離から紐解くBigQueryの権限モデル - ZOZO TECH BLOG
BigQuery MLで商品一覧画面の並び順を改善して売上を40%上げた話 - OVERS
Hadoop環境のクラウド移行 | BLOG - DeNA Engineering
Cloud Pub/SubでBigQueryの「スケジュールされたクエリ」の結果をSlack通知する
BigQueryでクエリを書いたときにハマった罠集 - 唯物是真 @Scaled_Wurm
Lookerでショップのサービス活用カルテを作成した話 - BASEプロダクトチームブログ
Democratizing data analysis with Google BigQuery
Angular と Firebase で月間PV1億超えの PWA を作った話 - Qiita
Looker Studioで組織内に魔境を作らないための裏技的Tips集 - Qiita
GCPのデータ処理・ETL系サービスの使い分け - Qiita
BigQueryでユーザー定義関数（UDF）は武器になるという話 - ZOZO TECH BLOG
Looker活用によるバイモーダルITの実現 - 下町柚子黄昏記 by @yuzutas0
世にも奇妙なQUERY関数 ~冬のスプレッドシート特別編~ - エムスリーテックブログ