サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
猫
blog.g-gen.co.jp
G-gen 又吉です。本記事は Google Cloud Next '24 in Las Vegas の1日目のキーノートで発表された Vertex AI Agent Builder を触ってみたのでご紹介します。 他の Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 概要 Agent とは Vertex AI Agent Builder とは 料金 概要 試算例 Vertex AI agents 概要 Agents の構成要素 Goal Instructions Examples Tools 概要 Built-in tools OpenAPI tools Data store tools 触ってみた 関連記事 概要 Agent とは 生成 AI アプリケーションにおける Agent とは、人間
はじめまして!4月に G-gen に入社した奥田梨紗です。この度 Google Cloud Next '24 in Las Vegas で発表された Gemini in BigQuery を試してみたので手順等をご紹介します。 はじめに Gemini in BigQuery とは 試したこと Google Cloud 側へ利用申請を行う BigQuery キャンバスを作成 Gemini in BigQuery を用いて SQL やグラフを作成 例1: 特定の数値でデータを分類する 例2: 分類分け 例3:グラフを作成 関連記事 はじめに Gemini in BigQuery とは Google Cloud Next '24 で発表された Gemini for Google Cloud の機能の1つです。 データキャンバスを作成し、自然言語(いわゆる普段話す言葉)をプロンプトに入力することで
G-gen の杉村です。当記事では、Google Cloud Next '24 in Las Vegas のキーノート(1日目)に関する速報レポートをお届けします。セッションレポートなど、Google Cloud Next '24 の関連記事は Google Cloud Next '24 カテゴリの記事一覧からご覧いただけます。 Google Cloud Next '24 in Las Vegas 概要 AI Hypercomputer Google Axion Gemini 1.5 Pro 等の生成 AI モデル Vertex AI でのグラウンディング「Enterprise Truth」 Vertex AI Agent Builder プロンプト開発と精度計測の補助 生成 AI による開発補助 生成 AI によるデータ活用 生成 AI とセキュリティ Google Workspace
G-gen の杉村です。Google Cloud では、「サービスアカウントキーの漏洩レスポンス(Service account key exposure response)」という組織ポリシーの制約により、サービスアカウントキーがパブリックな Git レポジトリ等に漏洩した場合でも、自動的に検知され、キーが無効化されます。当記事では意図的にキーを漏洩させた場合の検証結果をご共有します。 キーの漏洩検知・無効化の自動化 有効化 設定画面へ遷移 制約を有効化 GitHub のパブリックレポジトリにキーを push 自動検知と無効化の確認 メールでの通知 WAIT_FOR_ABUSE の場合の挙動 キーの漏洩検知・無効化の自動化 サービスアカウントキーの漏洩レスポンス(Service account key exposure response)は、組織のポリシーの制約の1つであり、制約の正式な
G-gen 又吉です。当記事では、LangChain と Vertex AI Search で Google Cloud 公式ドキュメントから回答を生成する LLM を構築してみたいと思います。 はじめに Vertex AI Search and Conversation とは LangChain とは 今回の構成 環境構築 API の有効化 Vertex AI Search データストア アプリ 実行環境 初期設定 ライブラリインストール ユーティリティ関数 モデルの初期化 Vertex AI Search 関数 テキスト分割関数 RAG を実行する関数 実行 はじめに Vertex AI Search and Conversation とは Vertex AI Search and Conversation とは、Google の生成 AI 技術を簡単に利用するためのフルマネージドの
G-gen 又吉です。Google の提供する最新の生成 AI モデルである Gemini を用いて、マルチモーダルな生成 AI チャットアプリを簡単に開発できましたので、ご紹介します。 概要 当記事の内容 デモ動画 前提知識 Gemini とは 使用するモデル Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 認証 テキストのみ 画像① 画像② 動画 利用状況の可視化 概要 当記事の内容 Google の提供する最新の生成 AI モデルである Gemini を用いて、テキスト、画像、動画の入力に対応したマルチモーダルな生成 AI チャットアプリを作ってみたので、当記事ではその開発の経緯をご紹介します。 実行環境として Google Cloud(旧称 GCP)の Clo
G-gen の杉村です。 Google Cloud (旧称 GCP) の仮想サーバのサービスである Google Compute Engine (GCE) には 確約利用割引 (Committed use discounts) という割引の仕組みがあります。 本記事では確約利用割引の仕組みを分かりやすく解説します。また、 Amazon Web Services (AWS) の類似機能である Reserved Instance や Savings Plans との違いについても言及します。 確約利用割引の基本 確約利用割引とは 料金 金額の例 2種類の確約利用割引 リソースベースのコミットメント 仕組み 購入・適用方法 Flexible CUD 仕組み 購入・適用方法 どんなときに購入すべきか 購入すべきとき 購入すべきではないとき コミットメントの更新 確約利用割引の応用 推奨の確認 プロ
こんにちは、6月にG-gen にJoinした又吉です。 今回は、 Google Workspace の全エディションにおいて無償で利用可能な Connected Sheets をご紹介します。 はじめに Connected Sheets とは 前提条件 料金 アクセス制御 セットアップ 操作方法 概要 グラフ ピボットテーブル 関数 データの抽出 計算された列 列の統計情報 データの更新 実践 はじめに Connected Sheets とは Connected Sheets とは、Google Sheets (スプレッドシート) 上で BigQuery に保存されているデータの可視化・分析・共有ができる Google Sheets の拡張機能です。 Google Sheets にはシート当たり最大 1,000 万セルまたは 1 万 8,278 列 (列 ZZZ) までしか持てない制限があ
G-gen の杉村です。Google Cloud のメタデータ管理ツールである Data Catalog を解説します。 概要 Data Catalog とは Data Catalog の機能 データカタログの利点 メタデータとは データ検索機能 検索方法 クエリの構文 メタデータ管理機能 Data Catalog が自動収集するメタデータ Google Cloud 以外のカタログ化 テクニカルメタデータとビジネスメタデータ テクニカルメタデータ ビジネスメタデータ Data Catalog のオブジェクト エントリとエントリグループ Data Catalog におけるタグ データの自動登録 (Discovery) データリネージ データリネージとは BigQuery の自動トラッキング 保持期間 OpenLineage との統合 料金 API コール データリネージ アクセス制御 (IA
G-gen 又吉です。今回は、Vertex AI Gemini API の Function Calling を触ってみたの概要を紹介します。 はじめに Gemini とは Function calling とは Function calling の仕組み Vertex AI Extensions との違い 触ってみる 実行環境 事前準備 動作確認 はじめに Gemini とは Geminiとは、Google から発表された高性能なマルチモーダルな生成 AI モデルです。テキストおよび画像、動画などの様々な種類のデータを入力、出力として扱えるモデルです。Gemini には、パラメータ規模が異なる Gemini Ultra、Gemini Pro、Gemini Nano の 3 つのモデルがあります。 2023年12月現在、Vertex AI 上では、Gemini Pro が Preview
G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 本記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが
G-gen の堂原です。本記事では Google Cloud (旧称 GCP) の生成 AI サービスである Vertex AI Search の活用事例として、技術サポート窓口支援ツールを紹介します。 はじめに 本ツールの概要 デモ 処理フロー 技術的ポイント Vertex AI text-bison model Vertex AI Search 生成 AI アプリケーションの開発 はじめに 当記事では、G-gen の技術サポート窓口にて実際に運用されている生成 AI アプリケーションである Tech Support Powered by Generative AI(以降、「本ツール」)について解説します。 G-gen では Google Cloud および Google Workspace の請求代行サービスを契約いただいているお客様に、無償の技術サポート窓口を提供しています。この窓口
G-gen の杉村です。2023/11/15から2023/11/16までの二日間、東京ビッグサイトにて4年ぶりの現地開催となる Google Cloud Next Tokyo '23 が開催されました。当記事ではその発表内容についてレポートします。 開催場所 展示内容 一日目 基調講演(キーノート) 二日目 基調講演(キーノート) Vertex AI におけるグラウンディング G-gen スポンサーセッション 動画の公開 開催場所 Google Cloud Next Tokyo '23 は4年ぶりの東京ビッグサイトにおける現地開催となりました。 展示内容 Google Cloud がホストする基調講演(キーノート)、ジャンルごとに分類されたブレイクアウトセッションをはじめ、G-gen も登壇したスポンサーセッションなど、多くの発表がされました。 また協賛企業が展示ブースを出展するスポンサー
G-gen 又吉です。当記事では、Google Cloud の LLM (Vertex AI PaLM API) と LangChain を組み合わせて、自然言語から BigQuery 上の統計データを取得する方法を紹介します。 はじめに 準備 実行環境 使用するデータ 実装 ライブラリのインストール 関数の定義 概要 解説 実行 はじめに LangChain とは、大規模言語モデル (LLM) アプリケーションを効率よく実装するためのフレームワークです。LangChain についての詳細は以下の記事をご参照ください。 blog.g-gen.co.jp LangChain にはさまざまな機能が提供されておりますが、今回は Agents 機能を用いて SQL データベースと対話するエージェントを作成します。 LLM のハルシネーション (幻覚) を抑制する手法として、指定した情報源だけに基づ
G-gen の神谷です。本記事では、Google Cloud のスケーラブルでサーバレスなデータ管理ツールである Dataplex を徹底解説します。 Dataplex の概要 Dataplex とは メリット データメッシュとは 構成とオブジェクト Dataplex Discovery Dataplex Discovery とは Discovery Action アクセス制御 認証・認可 (IAM) IAM の基本的な理解 アセットと IAM プロジェクトをまたぐ権限管理 VPC Service Controls 属性ストア データの品質チェック Dataplex におけるデータ品質の検証 自動データ品質 自動データ品質とは データ品質タスク データプロファイリング ロギングとモニタリング ロギング モニタリング 料金 その他の機能 ビジネス用語集 データ探索ワークベンチ Dataple
G-gen の佐々木です。当記事では Cloud Run 上のアプリケーションで Cloud SQL Auth Proxy を使って Cloud SQL へ接続する際に接続が失敗した事象と、その対策について解説します。 はじめに 前提知識 各種サービスについて Cloud Run から Cloud NAT を使用するケース 事象 発生した事象 想定していた通信経路 実際の通信経路 原因 解決策 余談 はじめに Cloud Run 上のアプリケーションから Cloud SQL への接続に Cloud SQL Auth Proxy を利用している状況において、意図せず通信が Cloud NAT を経由してしまったことにより、Cloud NAT のポート数上限に抵触して DB 接続が失敗する事象がおきました。 その原因と対策について解説します。 前提知識 各種サービスについて 当記事内に出てくる
G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / INSERT 制限 STRUCT (構造体) STRUCT とは サンプルテーブル SELECT SELECT 〜 WHERE CREATE TABLE / INSERT 制限 ARRAY<STRUCT> (ネストされた繰り返し列) ARRAY<STRUCT> とは サンプルテーブル SELEC
G-gen のタナです。Google Cloud (旧称 GCP) で、BigQuery へエクスポートした Google Analytics 4 (GA4) のデータを Looker Studio レポートのデータソースとして使用した際に、BigQuery の料金がスパイク (想定以上に膨らむこと) してしまいました。同じ問題に直面した方のために、私の経験と解決策を共有します。 やりたかったこと 事象 原因 1. BigQuery のキャッシュが効かなかった 症状 仕様 原因 2. Looker Studio のキャッシュが効かなかった 症状 仕様 原因 (推測) 解決方法 シャーディング分割テーブルをパーティション分割テーブルへ統合 データマートテーブルを利用 その他の工夫 クエリ課金の原因となっているレポートの調査 オンデマンド課金に上限を設ける その他のコスト削減手法 やりたかった
G-gen の杉村です。Google Cloud (旧称 GCP) の BigQuery と BI ツールである Looker Studio のネイティブ統合機能である BigQuery native integration in Looker Studio が2023年10月2日に Private Preview (申込制) で公開されたため、その機能を活用して Looker Studio レポートごとの BigQuery 課金額を調査してみました。 はじめに やること 調査方法 留意事項 情報取得方法を理解する INFORMATION_SCHEMA.JOBS の構造 クエリ ID からのレポート特定 検索ボックス URL 集計クエリ その他の Tips はじめに やること 当記事では、Looker Studio レポートごとに、そのレポートからのクエリが BigQuery 課金のうちの
G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Vertex AI PaLM API LLM 開発の課題 学習コスト 入力トークン制限 事実と異なる回答 最新情報に対応していない 準備 環境構築 ライブラリの準備 ユーティリティ関数を定義 各 AI モデルを初期化 LangChain とは 概要 Models 概要 LLMs Chat model Text Embedding Model Memory 概要 ConversationBufferMemory Prompts 概要 Prompt Template Output Parser
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
G-gen の藤岡です。当記事では、Google Workspace で削除済みのユーザーが主催者の予定を Google カレンダーから削除する方法を紹介します。 はじめに ユーザーの削除 Google カレンダーの予定 削除済みユーザーが主催者の予定を削除する手順 前提 ID の取得 予定の削除 トラブルシューティング はじめに ユーザーの削除 組織で Google Workspace を利用している場合、退職者が出るとユーザー (Google アカウント) の削除が発生します。削除時にデータを移行することで、ユーザーの削除をしてもデータを引き継ぐことができます。 削除時に以下の画面で データのオーナー権限を移行しない にチェックを入れ削除をすると、各データが引き継がれません。 ユーザーの削除画面 参考:組織からユーザーを削除する Google カレンダーの予定 予定のキャンセルや譲渡を
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
G-gen の杉村です。当記事では Google の生成 AI 技術を簡単に利用できる Vertex AI Search and Conversation を解説します。 概要 Vertex AI Search and Conversation とは ユースケース 社内検索エンジン 顧客対応補助 RAG の実現 料金 Vertex AI Conversation Vertex AI Conversation とは 対応言語 デプロイ Vertex AI Search Vertex AI Search とは 対応言語 サードパーティ製品との接続 オートコンプリート スニペットと抽出コンテンツ 検索結果の要約 フォローアップ検索 ウェブサイトへのウィジェット追加 分析 アプリのオプション Enterprise edition features Advanced LLM features 機能と
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。前回の記事では1日目の発表を扱いましたので、今回の記事ではそれ以外の発表等をご紹介します。 はじめに 開発の効率化 Jump Start Solutions GitLab との提携 Application Integration の GA インフラ C3A / C3D VM Titanium BigQuery と AI/ML BigQuery ML での生成 AI 利用 Feature Store の BigQuery 対応 BigQuery でのベクトルインデックス構築 BigQuery とデータ分析 Data clean rooms (Preview) BigQuery to Bigtable export BigQuery Omni
G-gen の杉村です。2023年8月29日〜31日 (現地時間)、Google Cloud Next '23 が米国・サンフランシスコで開催されました。当日は多くの Google Cloud / Google Workspace 関連の新機能や新サービスが発表されました。その全てではありませんが、重要な発表のいくつかをお伝えします。当記事では一日目、すなわち8月29日 (火) の発表を取り上げます。 はじめに 総評 参考リンク 二日目・三日目 生成 AI Duet AI in Google Workspace Duet AI in Google Cloud Vertex AI の生成 AI 関連機能強化 責任ある AI (Responsible) 機械学習向けコンピュートリソース (A3 VM / Cloud TPU v5e) 業界特化の PaLM データ分析とデータベース BigQue
G-gen の佐々木です。当記事では Google Cloud(旧称 GCP)の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
G-gen のタナです。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Slackと連携した簡易的なチャットボットの PoC を行いました。 はじめに 前提知識と事前準備 PaLM 2 Slack App Python Slack SDK Google App Engine APIの有効化 権限周りの設定 検証 概要と構成図 App Engine へのデプロイ 必要なファイル 1. requirements.txt 2. app.yaml 3. app.py 実行結果 Slack を介して PaLM 2 を活用するユーザー体験 BigQuery によるプロンプト履歴の分析 デプロイの手順 1. Slackのシークレット取得 2. シークレットをSecret Managerで保持 3. Cloud Loggingの設定
次のページ
このページを最初にブックマークしてみませんか?
『G-gen Tech Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く