Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました｜吉田 拓真 / スリーシェイク
Google Cloud Next'24 にて Google Cloudの生成 AI エコシステムはなぜ良いのか？について発表しました Google Cloud Next'24のJapan Sessionにて、生成AIがエンジニアリングだけでなく、エンジニアリングがコアになるビジネス（SIer, ISVベンダー,SaaSベンダー）自体をどう変えていくのかについて登壇してきましたので、その話をしたいと思います。 生成AIはエンジニア不足を解消し、新しいビジネスモデルを提供する生成AIは予想以上に我々の日々の業務を変えようとしています。 例えばGemini単体だけでなく、Gemini Code AssistやGemini in Databasesなどを併用していくことで少人数で複雑なプロジェクトを短期間で回してく体制を構築し、更に早期にエンジニアを育成していくスキームが構築することができますね
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。 | DevelopersIO
BigQuery へのデータ INSERT をトリガに、Cloud Functions を実行してみた。 こんにちは、みかみです。 沖縄もそろそろ肌寒い毎日になってきました。 やりたいこと BigQuery へのデータ追加を検知して、後続処理を実行したい BigQuery へのデータ追加の監査ログをトリガに、Cloud Functions を実行したい 図にしてみると、こんな感じです。 前提 Google Cloud SDK（gcloud コマンド）の実行環境は準備済みであるものとします。 本エントリでは、Cloud Shell を使用しました。 Cloud Shell の使用 ｜ Cloud Shell ドキュメント Eventarc API や、本エントリで利用している BigQuery, Cloud Functions, Cloud Build などの API は有効化済みです。 ま
BigQuery イベントで Cloud Run アクションをトリガーする方法 | Google Cloud 公式ブログ
※この投稿は米国時間 2021 年 2 月 11 日に、Google Cloud blog に投稿されたものの抄訳です。 多くの BigQuery ユーザーは、データベース トリガー、つまり特定の BigQuery テーブル、モデル、データセットのイベントに応答して手続き型コードを実行する方法を求めています。新しいテーブル パーティションが作成されるたびに ELT ジョブを実行する場合や、新しい行がテーブルに挿入されるたびに ML モデルを再トレーニングする場合があるかもしれません。 この記事では、「クラウドが簡単になる」という一般的なカテゴリにおいて、BigQuery と Cloud Run を簡単かつ適切に連携させる方法をご紹介します。BigQuery も Cloud Run もよく使うようであれば、一緒に使用することでさらに便利になるでしょう。 Cloud Run は、BigQuer
GA4 BigQueryエクスポート遅延に対応するイベントドリブンアーキテクチャの提案 | アユダンテ株式会社
デジタルマーケティングエンジニア ジャイン・ヴィボル (JAIN Vibhor)のコラム「GA4 BigQuery export notification – event driven architecture 」をデジタルマーケティングエンジニア 西村 彰悟が和訳したものになります。 GA4プロパティとBigQueryをリンクすることにより毎日エクスポートされるデータを日次レポートやマーケティングオートメーションの動作条件に使用する場合、皆さんは、前日のトラフィックデータ（前日のevents_YYYYMMDDという名前のテーブル）のエクスポートが完了する正確なタイミングと、このデータを利用するダウンストリームジョブを起動できるタイミングをどのように把握するかという問題に直面するでしょう。日次エクスポートは決まった時間に実行されず、これを通知する仕組みも用意されていません。 解決したい問題
BigQuery Export を設定する - アナリティクス ヘルプ
この機能は、Google マーケティング プラットフォームに含まれるアナリティクス 360 でのみご利用いただけます。 Google マーケティング プラットフォームの詳細 ステップ 1: Google API Console プロジェクトを作成し、BigQuery を有効にする Google API コンソールにログインします。 Google API コンソール プロジェクトを作成します。 新しいプロジェクトを作成するか、既存のプロジェクトを選択します。 API ライブラリへ移動します。 左上のナビゲーション メニューを開き、[API とサービス]、[ライブラリ] の順にクリックします。 BigQuery を有効にします。 [Google Cloud API] で [BigQuery API] を開き、表示されたページで [有効化] をクリックします。 表示される利用規約を読み、同意しま
【GoogleAnalytics】BigQuery Exportのプロジェクト選択でエラーになる時の対処法 - Qiita
はじめに こんにちは。ジールの@________________MFです。 Webログ分析のためGoogleAnalytics(GA)のBigQuery Export機能を利用してBigQuery(BQ)へデータ連携しようとしたところ、GAの設定画面にて連携先のGCPプロジェクトが選択できない謎なエラーが発生しました。 ※BigQuery Exportを設定する具体的な手順は公式ドキュメント・ステップ３をご参考ください。 ※BigQuery Exportを設定するユーザーは、GA・GCPともに必要な権限を持っている前提です。 結論 GCPのVPCサービスコントロール(VPC-SC)でBQを保護している為、 GAの設定画面からVPC-SCで許可されていないIP・ユーザーでプロジェクトを取得しようとしていることがエラーの原因でした。 BigQuery Exportを設定するユーザーアカウントを
Workload Identity連携でAWS（EC2/ECS/EKS）からサービスアカウントキーなしでBigQueryにアクセスする
背景 オンプレミスやAWSなどのクラウドからGoogle Cloud StorageやBigQueryなどのGCPサービス（API）を利用したい場合、サービスアカウントキーを使用していました。サービスアカウントキーはサービスアカウントから払い出された秘密鍵ファイルであり、使用する場合は環境変数 GOOGLE_APPLICATION_CREDENTIALSにサービスアカウントキーのファイルパスを指定します。 サービスアカウントキーの利用について次の懸念があるため、システム提供者側は発行を極力避けたいと考えます。 キーファイルの漏洩リスク：サービスアカウントキーを使用する権限を持っていることを、サービスアカウントキーを利用される側は知ることができない。つまり、外部に漏洩すると誰でもサービスアカウントに付与されている権限が実行できてしまう 管理の煩雑さ：サービスアカウントキーには有効期限がないた
IP 制限付きで AWS EC2 から BigQuery にアクセスしてみた | DevelopersIO
こんにちは、みかみです。 GCP ＆ BigQuery 勉強中です。 実際に業務で使用するとなると、セキュリティの考慮は必須です。 普段業務で使っている AWS 環境では、セキュリティグループで IP 制限をかけ、許可されていない IP からのアクセスはできないようにしています。 GCP でも IP 制限かけられるの？ どうやって？ どの範囲で？ ということで。 やりたいこと GCP ではどうやって IP 制限するのか学びたい EC2 から BigQuery に IP 制限付きでアクセスしたい GCP の IP 制限 AWS 同様 GCP でも VPC（VPC Service Controls）があり、Access Context Manager でアクセスレベルを設定できるそうです。 Access Context Manager では、IP アドレスやリージョン、デバイス単位でアクセスを
日本特殊陶業 : 生成 AI とBigQuery を駆使して構築する効率的な統合データ基盤 - Vertex AI による SQL 記述支援 | Google Cloud 公式ブログ
日本特殊陶業 : 生成 AI とBigQuery を駆使して構築する効率的な統合データ基盤 - Vertex AI による SQL 記述支援 Niterra グループ 日本特殊陶業株式会社（以下、日本特殊陶業）はスパークプラグをはじめとした内燃機関用関連商品、並びにニューセラミック商品の製造および販売を手がける、国際的な総合セラミックスメーカーです。 同社は、これまでも Google Cloud を有効活用されてきましたが、より優れたサービス提供を目指し、 BigQuery を中心とした統合データ基盤を同社内で展開しました。この統合データ基盤を、よりユーザーに有効活用してもらうため、生成AIによる SQL の記述支援を実現しています。 今回は日本特殊陶業グローバル戦略本部 DX 戦略室の寺嶋拓弥氏からのお話を伺い、その取り組みと成果について詳しくご紹介いたします。 利用している Googl
組織の分散しているデータをBigQueryにまとめてLooker Studioで可視化する方法
この記事は、GA4データとWEBアプリケーションで蓄積された購買情報などのデータを結合し可視化する例を紹介しております。 アーキテクチャ (だいぶシンプルにしています。CSVはGCSにある想定です。) データはCSVデータ（顧客の購買情報をイメージしてください）、Google Analytics、Google 広告のデータがあることを想定しています。 データの流れとしてはBigQuery Data Transfer Service を活用して一つのDWHにまとめます。 まとめた後はスケジュールクエリでデータマートを作成します。 データマートを作成した後はLooker Studioから接続して可視化します。 課題 企業で蓄積されたデータの多くは、各所に分散して保存されており利用しづらい状況がありました。 また、データを利用するにあたりシステム部に連絡をしてアドホック的にクエリを実施し、データ
VPC Service Controlsを分かりやすく解説 - G-gen Tech Blog
G-genの杉村です。 本投稿では、 Google Cloud (GCP) のセキュリティ系サービスの中でも特に重要な VPC Service Controls の概念について分かりやすく解説していこうと思います。 VPC Service Controls とは VPC Service Controls って結局何ができるの？ できること できないこと API コールとは？ 構成例と仕様 想定構成図 境界の定義 境界の外からのアクセス / 境界の中から外へのアクセス VPC 内からのアクセス オンプレミスからのアクセス ユースケース ドライラン構成 VPC Service Controls とは VPC Service Controls は Google Cloud (旧称 GCP) のセキュリティ機能です。 「境界 (perimeter) 」と呼ばれる論理的な囲いを作り、その囲いの外から
GCP を利用したセキュリティ要件対応 : VPC Service Controls を試してみた (その 1 : 概念の確認)
TLDR「BigQuery IP 制限」でこの記事にたどり着いた方、この記事はあなたのための記事です :)VPC Service Controls を利用することで、 BigQuery や GCS に対する IP 制限だけでなく、データエクスポートの制限なども含めた統合的なセキュリティを、簡単に実装できますこの記事は Part 3 あるうちの Part 1 です (Part 2, Part 3) オンプレミスとの混在環境や、すでにあるオンプレを前提としたセキュリティポリシー、あるいはコンプライアンスなどに対応する際には様々なセキュリティ要件が存在すると思います。 そのような対応に Google Cloud Platform (GCP) 上で利用できる機能の一つが VPC Service Controls (以下、VPC SC)です。VPC SC は 2019 年 1 月 21 日現在、GC
DataflowとBigQueryで始める大規模データ分析基盤実装入門 - TECH PLAY Magazine
大量に蓄積されたデータを活用するためには、データ分析基盤の構築が必要になる。だが、専門知識を持つ人材やデータ分析にかける予算確保は容易くはない。そこで、電通国際情報サービス(ISID)の全社横断的な研究開発部門である、X（クロス）イノベーション本部ソフトウェアデザインセンターの佐藤太一氏が、自らの経験をもとにDataflowとBigQueryで大規模データ分析基盤を実装する方法を紹介。その際に重要となるコスト観も合わせて解説した。 データ分析基盤構築における考え方とシステムアーキテクチャ 佐藤 太一氏 株式会社電通国際情報サービス(ISID) Xイノベーション本部 ソフトウェアデザインセンター 今回登壇した佐藤太一氏が所属する電通国際情報サービス（以下、ISID）のXイノベーション本部は、全社横断的な研究開発部門。佐藤氏はGitHubやJIRAなどの現代的な構成管理ツールの利用促進や部門横
BigQuery ↔ Pandas間で読み込み/書き込み - Qiita
はじめに BigQueryクライアントライブラリのgoogle-cloud-bigquery そのラッパーのpandas-gbqを使う方法を書きます。 ※ Googleはgoogle-cloud-bigquery を使って欲しそう。 https://cloud.google.com/bigquery/docs/pandas-gbq-migration?hl=ja 環境 MacOS X 10.14.5 (Mojave) Homebrew 2.2.5 Google Cloud SDK 281.0.0 bq 2.0.53 GCPアカウント登録 【画像で説明】Google Cloud Platform (GCP)の無料トライアルでアカウント登録 Google Cloud SDKのインストール Google Cloud SDKのインストール ~ 初期化 プロジェクト作成 Google Cloud S
デジタル庁のデータ分析基盤「sukuna」｜デジタル庁
はじめまして。デジタル庁ファクト＆データユニット所属、データエンジニアの長谷川です。 本記事ではデジタル庁内でデータ活用を推進するための組織と分析基盤についてご紹介します。 これまでのデジタル庁noteと比べると、技術寄りの話題が多い記事となりますが、庁内のデータ活用に興味のある方はぜひご覧ください。 デジタル庁のデータ活用組織「ファクト＆データユニット」ファクト＆データユニットとはデジタル庁の特徴の一つに、デジタル分野において各種の専門性をもつ「民間専門人材」が多く所属していることが挙げられます。 民間の専門人材は、デザイン、プロダクトマネジメント、エンジニアリングなど、領域ごとに「ユニット」と呼ばれる組織を構成しており（参考：デジタル庁 - 組織情報）、必要に応じてさまざまなプロジェクトにアサインされて業務を遂行する、人材プールのような役割を果たしています。 ファクト＆データユニットも
BigQueryのデータのアクセス権限・セキュリティを考える｜グルーヴノーツ - MAGELLAN BLOCKS
アクセス権の設定 以下の単位できめ細やかにアクセス権を設定することができます。 データセット テーブル 列 行（AuthorizedView） 制御しながらデータを見せる アクセス権とは違い、クエリの結果しか見せない、暗号化してしまうということもできます。 AuthorizedView 暗号化関数 監査ログ 誰がいつ、どこで、何をしたかの監査ログを取ることができます。 Cloud Logging（今回はこちらに関して触れませんが、とても大事なことです） データのアクセス権とジョブ（クエリ）の設定について アクセス権の設定の前に、この件を先に触れます。 BigQueryでは、データにアクセスする権限と、ジョブ（クエリ）を発行する権限が明確に分かれています。前者はBigQueryでデータセットやテーブルに対して付与します。後者はIAMでプロジェクトに対して付与します。 最初のうちは、この点を理
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
BigQuery Copy vs Clone table
データセットとビルド済みソリューション
BigQuery の IAM ロールと権限 | Google Cloud
2023 年の BigQuery 権限管理
