Looker Studio + BigQuery でコストを最適化する方法 - G-gen Tech Blog
G-gen の神谷です。本記事では、Looker Studio で BigQuery データソースを使う際のコスト最適化について説明します。 はじめに Looker Studio とは 料金体系 BigQuery コストを調べる 料金削減の基本方針 Looker Studio のキャッシュ機能 コンポーネントキャッシュ（造語） 抽出されたデータソース BigQuery のキャッシュ機能 BigQuery のストレージキャッシュ マテリアライズドビュー BI Engine キャッシュ以外の手法 BigQuery Editions パーティショニングとクラスタリング 事前集計とカラム設計 補足 : Looker Studio から BigQuery のパーティションは有効なのか 補足 : API 上限設定 はじめに Looker Studio とは Google Cloud が提供する BI
Cloud StorageトリガでCloud Functions(2nd gen)を動かしてみた - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) の Cloud Functions (第2世代) を使い Cloud Storage へファイルが配置されたことを起点に起動するプログラムを作ってみました。 前提知識 Cloud Storage と Cloud Functions Cloud Storage トリガの Cloud Functions とは 検証 やること ソースコード 実行結果 デプロイの手順 必要な API の有効化 Cloud Storage サービスエージェントに権限付与 Cloud Functions 関数のデプロイ 実行結果確認 トラブルシューティング Please verify that the bucket exists Build failed with status: FAILURE and message: An unexpected
Cloud Functions の呼び出しを許可されたアカウントのみが実行できるよう制御する方法 - G-gen Tech Blog
G-gen の又吉です。当記事では、Cloud Functions の呼び出しを許可されたアカウントのみが実行できるよう制御する方法を紹介します。 概要 背景 構成 準備 必要な API の有効化 サービスアカウントの作成 functions-2 関数のサービスアカウント作成 functions-3 関数のサービスアカウント作成 フォルダ構成 functions_1/main.py functions_1/requirements.txt functions_2_3/main.py functions_2_3/requirements.txt Cloud Functions の作成 functions-1 関数の作成 functions-2 関数の作成 functions-3 関数の作成 権限の付与 動作確認 実行 1 実行 2 もう少し深堀ってみる curl コマンドで実行 トークンの確
Cloud Runのコールドスタートについて整理してみた - G-gen Tech Blog
G-gen の武井です。当記事では Cloud Run のコールドスタートについて整理した結果をご紹介します。 Cloud Run の概要 コールドスタートについて理解する コールドスタートとは Cloud Run のスケールイン/アウト コールドスタートが発生する理由 コールドスタートの対策 起動時の CPU ブースト 最小インスタンス 実行環境の選択 コールドスタート対策に伴う料金 関連記事 Cloud Run の概要 Cloud Run とは、コンテナとしてパッケージされたアプリケーションを簡単に実行できる Google Cloud のフルマネージド型のサーバーレスプラットフォームサービスです。 インフラの管理はほぼ必要で、コンテナを実行するインスタンスは負荷に応じて自動的にスケールアウトし、処理をしていないときはインスタンス数を 0 までスケールインさせることも可能です。 その他
GCEからGCS操作時の権限エラーでサービスアカウントのIAM以外に疑うこと - G-gen Tech Blog
G-gen の藤岡です。当記事では、Google Cloud (旧称 GCP) の Compute Engine VM から Cloud Storage バケットを操作する時に起きる権限エラーについて、実際のエラー内容からサービスアカウントの IAM 権限以外に疑うこと、その対処法について紹介します。 前提知識 事象 原因 エラー文の違い 対処 アクセススコープの変更 手動で作成したサービスアカウントをアタッチ ユーザーアカウントの使用 前提知識 Compute Engine （以下 GCE）は、デフォルトでは PROJECT_NUMBER-compute@developer.gserviceaccount.com のサービスアカウントが設定されます。但し、このサービスアカウントにはプロジェクトレベルで 編集者（roles/editor）ロールが付与されており、広範囲な権限を持っているため
削除済みのユーザーが主催者の予定をGoogleカレンダーから削除する方法 - G-gen Tech Blog
G-gen の藤岡です。当記事では、Google Workspace で削除済みのユーザーが主催者の予定を Google カレンダーから削除する方法を紹介します。 はじめに ユーザーの削除 Google カレンダーの予定 削除済みユーザーが主催者の予定を削除する手順 前提 ID の取得 予定の削除 トラブルシューティング はじめに ユーザーの削除 組織で Google Workspace を利用している場合、退職者が出るとユーザー (Google アカウント) の削除が発生します。削除時にデータを移行することで、ユーザーの削除をしてもデータを引き継ぐことができます。 削除時に以下の画面で データのオーナー権限を移行しない にチェックを入れ削除をすると、各データが引き継がれません。 ユーザーの削除画面 参考：組織からユーザーを削除する Google カレンダーの予定 予定のキャンセルや譲渡を
Vertex AI Gemini: Model selection and prompt design principles and strategies（Google Cloud Next '24セッションレポート） - G-gen Tech Blog
G-gen の堂原です。本記事は Google Cloud Next '24 in Las Vegas の 3 日目に行われた Breakout Session「Vertex AI Gemini: Model selection and prompt design principles and strategies」のレポートです。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 セッションの概要 生成 AI モデルの選び方について プロンプト設計における Tips 概要 Instructions Examples 区切りを明確にする 各要素の順番 実験と評価 プロンプト設計の原則 関連記事 セッションの概要 本セッションでは、Vertex AI で生成 AI を使っていくにあたってのモデ
Google Cloud Next '24 in Las Vegas 速報レポート（キーノート・1日目） - G-gen Tech Blog
G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート（1日目）に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 Google Cloud Next '24 in Las Vegas 概要 AI Hypercomputer Google Axion Gemini 1.5 Pro 等の生成 AI モデル Vertex AI でのグラウンディング「Enterprise Truth」 Vertex AI Agent Builder プロンプト開発と精度計測の補助 生成 AI による開発補助 生成 AI によるデータ活用 生成 AI とセキュリティ Google Workspace
Data Catalogを徹底解説！ - G-gen Tech Blog
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 (Discovery) データリネージ データリネージとは BigQuery の自動トラッキング 保持期間 OpenLineage との統合 料金 API コール データリネージ アクセス制御 (IA
Professional Google Workspace Administrator試験対策マニュアル - G-gen Tech Blog
G-gen の杉村です。 Google Cloud (GCP) 認定試験の一つである Professional Google Workspace Administrator 試験 (旧称 Professional Collaboration Engineer) は、 Google の提供するグループウェアである Google Workspace の専門知識を問う試験です。当記事では試験合格に役立つ内容をご紹介します。 はじめに Professional Google Workspace Administrator とは 難易度 学習方法 注意点・出題傾向 ディレクトリ設計・管理 組織部門設計 カスタムディレクトリ 設定グループ データリージョン ドメイン名（セカンダリドメイン） アカウント保護 コンテキストアウェアアクセス コンプライアンス（Google Vault） Google Vau
Vertex AI Searchで外部Webサイトから要約回答を生成するRAGを構築してみた - G-gen Tech Blog
G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 Vertex AI Search データストア アプリ 実行環境 初期設定 ライブラリインストール ユーティリティ関数 モデルの初期化 Vertex AI Search 関数 テキスト分割関数 RAG を実行する関数 実行 はじめに Vertex AI Search and Conversation とは Vertex AI Search and Conversation とは、Google の生成 AI 技術を簡単に利用するためのフルマネージドの
Looker LookML Developer試験対策マニュアル。出題傾向・勉強方法 - G-gen Tech Blog
G-gen の杉村です。Google Cloud (旧称 GCP) 認定資格である Looker LookML Developer 試験 は、他の Google Cloud 認定試験とは一線を画し、かつては Google Cloud とは別プロダクトであった Looker の開発者向け認定資格です。 本投稿では試験の合格に役立つ情報を記載します。 ※ 当試験は 2022/04/01 をもって 廃止 となりました。しかしながら当記事は Looker の製品知識の取得に役立ててもらう意味を込めて、公開のままとさせていただきます。 はじめに 本投稿の想定読者 Looker LookML Developer 試験の難易度 推奨の勉強法 出題傾向 フィルタとアクセス制御 フィルタを強制する アクセス制御 Dimension & Measure フィールドタイプ 持続可能な LookML Explor
Dataplexを徹底解説！ - G-gen Tech Blog
G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア データの品質チェック Dataplex におけるデータ品質の検証 自動データ品質 自動データ品質とは データ品質タスク データプロファイリング ロギングとモニタリング ロギング モニタリング 料金 その他の機能 ビジネス用語集 データ探索ワークベンチ Dataple
LangChainでBigQueryデータを使ったグラウンディングを実装してみた - G-gen Tech Blog
G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定義 概要 解説 実行 はじめに LangChain とは、大規模言語モデル (LLM) アプリケーションを効率よく実装するためのフレームワークです。LangChain についての詳細は以下の記事をご参照ください。 blog.g-gen.co.jp LangChain にはさまざまな機能が提供されておりますが、今回は Agents 機能を用いて SQL データベースと対話するエージェントを作成します。 LLM のハルシネーション (幻覚) を抑制する手法として、指定した情報源だけに基づ
生成AIの活用例を紹介！Vertex AI Searchによる技術サポート窓口支援ツール - G-gen Tech Blog
G-gen の堂原です。本記事では Google Cloud (旧称 GCP) の生成 AI サービスである Vertex AI Search の活用事例として、技術サポート窓口支援ツールを紹介します。 はじめに 本ツールの概要 デモ 処理フロー 技術的ポイント Vertex AI text-bison model Vertex AI Search 生成 AI アプリケーションの開発 はじめに 当記事では、G-gen の技術サポート窓口にて実際に運用されている生成 AI アプリケーションである Tech Support Powered by Generative AI（以降、「本ツール」）について解説します。 G-gen では Google Cloud および Google Workspace の請求代行サービスを契約いただいているお客様に、無償の技術サポート窓口を提供しています。この窓口
Looker StudioでGA4データを可視化したらBigQuery課金がスパイクした件 - G-gen Tech Blog
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様 原因 2. Looker Studio のキャッシュが効かなかった 症状 仕様 原因 (推測) 解決方法 シャーディング分割テーブルをパーティション分割テーブルへ統合 データマートテーブルを利用 その他の工夫 クエリ課金の原因となっているレポートの調査 オンデマンド課金に上限を設ける その他のコスト削減手法 やりたかった
生成AIでチャットボットを作るときの具体的なコツ (PaLM 2/chat-bison) - G-gen Tech Blog
G-gen タナです。Google Cloud (旧称 GCP) の生成 AI チャットモデルである PaLM 2 の chat-bison モデルを使い、運用を考慮に入れたチャットツールを作成してみましたのでご紹介します。 はじめに 前提知識 Vertex AI PaLM API サンプルコード (Python) ステートフルとステートレス 運用化のポイント ポイント1: チャットボットをステートレスにする 課題 解決策 運用性の検証 応用 ポイント2: 回答スタイルを指定 概要 やり方 動作確認 トラブルシューティング 初期設定 ロジック適用 FastAPI を App Engine でデプロイ PaLM 2 の chat-bisonモデルの運用化のコツ はじめに 先日、「Googleの生成AI、PaLM 2をSlack連携して社内ツールとして導入してみた」というブログ記事で、PaLM
LangChainについて解説。大規模言語モデル(LLM)を効率よく実装するためのフレームワーク - G-gen Tech Blog
G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Vertex AI PaLM API LLM 開発の課題 学習コスト 入力トークン制限 事実と異なる回答 最新情報に対応していない 準備 環境構築 ライブラリの準備 ユーティリティ関数を定義 各 AI モデルを初期化 LangChain とは 概要 Models 概要 LLMs Chat model Text Embedding Model Memory 概要 ConversationBufferMemory Prompts 概要 Prompt Template Output Parser
Google Cloudの生成AI(PaLM2)で社内LLM Webアプリを爆速で作ってみた - G-gen Tech Blog
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
Vertex AI Search and Conversationを徹底解説！ - G-gen Tech Blog
G-gen の杉村です。当記事では Google の生成 AI 技術を簡単に利用できる Vertex AI Search and Conversation を解説します。 概要 Vertex AI Search and Conversation とは ユースケース 社内検索エンジン 顧客対応補助 RAG の実現 料金 Vertex AI Conversation Vertex AI Conversation とは 対応言語 デプロイ Vertex AI Search Vertex AI Search とは 対応言語 サードパーティ製品との接続 オートコンプリート スニペットと抽出コンテンツ 検索結果の要約 フォローアップ検索 ウェブサイトへのウィジェット追加 分析 アプリのオプション Enterprise edition features Advanced LLM features 機能と
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
