サクサク読めて、アプリ限定の機能も多数!
トップへ戻る
掃除・片付け
blog.g-gen.co.jp
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) でマネージドな Kubernetes クラスタを使用することができる Google Kubernetes Engine (GKE) を解説します。Amazon Elastic Kubernetes Service (EKS) や Azure Kubernetes Service (AKS)など、kubenetes をマネージドに提供するサービスは存在しますが GKE はそれらの中でもよい評判を耳にします。例えばマスターノードの料金が不要、起動が早いといった具合です。GKE は Google Cloud 採択の理由たりえるサービスのため、優先的に仕様を調査することにしました。 Google Kube
G-gen の杉村です。BigQuery のオンデマンドクエリの利用量にフタをする、つまりスキャンデータ量に上限を設けて突発課金を防止する工夫について紹介します。 はじめに 割り当て (Quota) の設定 Query usage per day 設定手順 割り当て画面へ遷移 対象の割り当てをフィルタ 編集ボタンをクリック 割り当てを設定 新しい割り当ての確認 動作確認 クエリのサイズ上限設定 クエリ単位での上限設定 設定手順 (コンソール) クエリ設定を開く 詳細オプションの設定 動作確認 設定手順 (bq コマンドライン) はじめに BigQuery の課金体系にはオンデマンドと Editions の2つから選択できます。前者はスキャンしたデータ量に応じた従量課金です。後者は確保するコンピュートリソースの量に応じた課金で、オートスケールの幅 (上限と下限) を設定できます。 Editi
G-genの杉村です。Google Cloud (旧称 GCP) の Identity and Access Management(略称 IAM)は、きちんと使いこなすことで強力なセキュリティ統制を効かせることができます。本投稿では、その内部構造まで解き明かしていきます。 Cloud IAM とは ID (アカウント) Google Cloud におけるアカウント管理 AWS の IAM User との違い Google アカウントとグループ サービスアカウント 解説記事 IAM の仕組み IAM とリソースの関係 継承 許可と拒否 IAM の内部構造 (IAM Policy とは) gcloud コマンドによる IAM Policy 操作 AWS IAM との比較と連携 概要 ID (IAM User) 概念の違い 用語の違い AWS IAM と Google Cloud IAM の連携
G-genの田中です。当記事では、Cloud Storage を利用する中で、意図していない高額の請求が発生してしまった事例について解説していきます。 はじめに 背景 Cloud Storage とは Cloud Storage の料金 Storage Transfer Service とは 事件のあらまし 背景 落とし穴 莫大な課金の発生 後日譚 はじめに 背景 今回、G-gen でサポートさせて頂いているお客様が Storage Transfer Service を利用して Cloud Storage へデータ移行を行ったところ、3日間で数十万円の課金が発生してしまったという事件があり、注意喚起のために記事化させて頂くことになりました。 本記事は、お客様名の許諾を得た上で、実際に起きた内容を少し改変して記事化しました。お客様の社内事情のため数値等を事実とは違うものにして記載していますが
G-gen 又吉です。Google Cloud (旧称 GCP) の生成 AI (Generative AI) である PaLM 2 を用いて、Cloud Run 上に社内 LLM Web アプリを構築してみました。 はじめに 前提知識 Vertex AI PaLM API Gradio Cloud Runサービスへのアクセス制御 準備 ディレクトリ構成 app.py requirements.txt Dockerfile デプロイ 動作検証 はじめに 今回は、Google Cloud の生成 AI である Vertex AI PaLM API を用いて、社内向け LLM Web アプリを Cloud Run 上にデプロイします。 また、Cloud Run サービスの認証には Identity-Aware Proxy (IAP) を用いることで、社内ユーザーのみがアクセスできる状態を構成で
G-gen の佐々木です。当記事では Google Cloud(旧称 GCP)の認定資格の一つである、Professional Machine Learning Engineer 試験の対策や出題傾向について解説します。 基本的な情報 Professional Machine Learning Engineer とは 難易度 試験対策 機械学習の一般的な知識 代表的な機械学習アルゴリズム 評価指標 回帰問題における評価指標 分類問題における評価指標 ヒューリスティック 機械学習モデルの開発、運用における課題の解決 データの前処理 欠損値の処理 カテゴリカル変数の扱い 不均衡データの対策 過学習の対策 正則化 早期停止 トレーニングの改善 ハイパーパラメータの調整 トレーニング時間の改善 交差検証 モデルのモニタリングと改善 スキューとドリフト モデルの軽量化手法 Google Cloud
当記事は みずほリサーチ&テクノロジーズ × G-gen エンジニアコラボレーション企画 で執筆されたものです。 はじめまして、みずほリサーチ&テクノロジーズの小野寺と申します。 みずほでは 2022 年 3 月に発表した Google との戦略的提携 の一環として Google Cloud の活用に取り組んでいます。 この記事では AWS のアーキテクトを経験してきた著者がはじめて Google Cloud で社内向けの静的 Web ページを配信するまでの経緯を記述しています。 Single Page Application を Google Cloud で構築予定の方や、これから Google Cloud に取り組む方の参考となれば幸いです。 当ブログは G-gen × みずほRT によるコラボ記事です システム特性 初期構成の検討 Cloud Load Balancing と Clo
G-gen の佐々木です。当記事では、Google Cloud (旧称 GCP) のサーバーレスコンテナサービスである Cloud Run の Direct VPC Egress 機能について解説します。 前提知識 Cloud Run とは サーバーレス VPC アクセスコネクタとは 概要 Direct VPC Egress とは 使用方法 サーバーレス VPC アクセスコネクタと Direct VPC Egress の比較 コスト パフォーマンス 構成図 比較表 ユースケース 制限事項 スケーリングの上限 サポートされているリージョン サブネットに十分な IP アドレスが必要 その他の制限事項 ロギング・モニタリングに関する制限事項 セキュリティに関する制限事項 Cloud Run jobs の実行時間に関する制限事項 Cloud Run 前提知識 Cloud Run とは Cloud
G-gen の杉村です。 Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で使ってみました。 Terraform Terraform とは 使ってみる Cloud Shell Terraform コマンドの確認 ファイル作成 エディタでの編集 Terraform 初期化 確認コマンド 適用 環境の削除 Cloud Storage に状態 (state) を保存する 前提知識 状態 (state) とは 状態 (state) の共有 バケットの作成 バックエンド構成の作成 再 init Terraform とは Terraform は Infrastructure as Code (IaC) を実現するオープンソース (Mozilla Public License v2.0) のツールです。 Googl
Google Cloud (旧称 GCP) の 学習に役立つオンラインコンテンツ をサービスカットや分野別でまとめました。Google Cloud の基本的な学習のほか、資格取得にも役立つコンテンツ集となっておりますので、お役立てください。 はじめに Google Cloud 全般 課金・コスト削減 アーキテクチャ・ベストプラクティス セキュリティ・統制 (非ネットワーク) セキュリティ (ネットワーク) コンピューティング ネットワーク ストレージ データベース データ分析 AI / ML (機械学習) 開発・IaC 監視・運用・SRE その他・Google プロダクト Google Workspace Google Cloud 認定資格 はじめに 当ページでは Google Cloud (旧称 GCP) の基礎学習や試験対策に役立つオンラインコンテンツを、サービス名別や分野別でまとめま
G-genの杉村です。Google Cloud (旧称 GCP) のフルマネージドなデータウェアハウスサービスである BigQuery の新しい料金体系「BigQuery Editions」が 2023年3月29日に発表され、2023年7月5日に施行されました。当記事ではその仕組みと、従来の料金体系との違いなどについて解説します。 概要 新しい価格体系 何が変わるか 値上げか、値下げか 当記事での解説 Physical storage 圧縮後データに対する課金 制約 Active と Long-term タイムトラベル・フェイルセーフへの課金 単価の違いと圧縮率 単価の違い 圧縮率の例 Physical storage への移行 BigQuery Editions BigQuery Editions とは 3つのエディション・料金表 クエリがプロジェクトをまたぐ場合 いつ Editions
G-genの杉村です。Cloud Logging は Google Cloud (旧称 GCP) 上のシステム等が生成したログを収集・保管・管理する仕組みです。基本的な概念や仕組みを解説していきます。 Cloud Logging 概要 Cloud Logging とは 対象のログ ログの保存先 料金 Cloud Logging の料金 最初から存在するログバケットの料金 ストレージ料金の課金開始 取り込み料金の節約 Cloud Logging が扱う4種類のログ 1. Google Cloudサービスが生成するログ 2. ユーザーが生成するログ 3. セキュリティログ 4. マルチクラウドとハイブリッド クラウドのログ ログの閲覧 閲覧方法 クエリ言語 インデックス ログルーティングとログの保存 ログルーティングとは シンクとは 初期設定で存在するシンク 書き込み ID プロジェクトをまた
G-gen 又吉です。LangChain とは、大規模言語モデル (LLM) を効率よく実装するために使用するフレームワークです。 当記事では LangChain を用いて、Google Cloud (旧称 : GCP) の LLM である PaLM 2 を操作する基本的な方法をご紹介します。 はじめに Vertex AI PaLM API LLM 開発の課題 学習コスト 入力トークン制限 事実と異なる回答 最新情報に対応していない 準備 環境構築 ライブラリの準備 ユーティリティ関数を定義 各 AI モデルを初期化 LangChain とは 概要 Models 概要 LLMs Chat model Text Embedding Model Memory 概要 ConversationBufferMemory Prompts 概要 Prompt Template Output Parser
G-gen の堂原です。 当記事では、Terraform を用いて Google Cloud (旧称 GCP) の Identity and Access Management (IAM) を管理する際に、注意すべき点について紹介します。 はじめに google_xxx_iam の使い分け google_project_iam_xxx の使い分けと注意点 google_project_iam_policy google_project_iam_binding google_project_iam_member はじめに 改めて、当記事では Terraform を用いて Google Cloud の IAM を管理する際に注意すべき点として、 具体的には google_project_iam_policy、google_project_iam_binding 及び google_projec
はじめまして!4月に G-gen に入社した奥田梨紗です。この度 Google Cloud Next '24 in Las Vegas で発表された Gemini in BigQuery を試してみたので手順等をご紹介します。 はじめに Gemini in BigQuery とは 試したこと Google Cloud 側へ利用申請を行う BigQuery キャンバスを作成 Gemini in BigQuery を用いて SQL やグラフを作成 例1: 特定の数値でデータを分類する 例2: 分類分け 例3:グラフを作成 関連記事 はじめに Gemini in BigQuery とは Google Cloud Next '24 で発表された Gemini for Google Cloud の機能の1つです。 データキャンバスを作成し、自然言語(いわゆる普段話す言葉)をプロンプトに入力することで
G-genの杉村です。Google Cloud (旧称 GCP) の誇るデータウェアハウスサービスである BigQuery には、パフォーマンスの向上に当たり パーティション と クラスタリング という重要な概念があります。 それぞれの仕組みや使い分けを解説していきます。 パーティション パーティションとは パーティションフィルタ要件 (Partition filter requirements) メリット パーティションの分割基準 時間の列 取り込み時間 整数範囲の列 パーティションの管理 クラスタリング クラスタリングとは クラスタ化に指定する列 自動再クラスタリング パーティション VS クラスタリング パーティションとクラスタリングの違い パーティションとクラスタリングの使い分け パーティション・クラスターのレコメンデーション その他 注意点 参考情報 パーティション パーティショ
G-gen の佐々木です。当記事では Google Cloud(旧称 GCP)の機械学習サービスである Vertex AI の AutoML で作成した機械学習モデルを、サーバーレスなコンテナ実行基盤である Cloud Run にデプロイしていきます。 Vertex AI および Cloud Run とは? Vertex AI で作成したモデルのデプロイについて 当記事で Cloud Run にデプロイするモデル Vertex AI Model Registry からモデルをエクスポートする ローカルの Docker コンテナで予測を実行する Artifact Registry にモデルをアップロードする Cloud Run にモデルをデプロイする Cloud Run サービスに予測リクエストを送信する Vertex AI & Cloud Run Vertex AI および Cloud R
こんにちは、G-genの開原です。当記事では Google Cloud が提供する Looker と Looker Studio (旧称データポータル) という2つのデータ可視化サービスの特徴についてご紹介した上で、選定のポイントを解説します。 Looker とは? Looker Studio とは? データ分析における課題 Looker の特徴 データのアップロード不要 LookML によるデータの一元管理 豊富な業務連携 Looker Studio の特徴 無料で魅力的なダッシュボード 簡単・すぐに始められる手軽さ 多様なデータソース 機能比較と選定基準 機能比較 選定基準 追加情報 Looker Studio Pro Looker Modeler ハンズオンセミナー Looker とは? Looker は Google Cloud が提供する次世代型の「データプラットフォーム製品」で
G-genの杉村です。 Google Cloud (旧称 GCP) には Cloud Identity-Aware Proxy (以下、IAP) というサービスがあります。 一般的な用語で IAP といえば、 VPN レスを実現する大層な仕組み、というイメージかもしれません。 Google Cloud の IAP には色々な機能がありますが、今日取り上げるのは Google Compute Engine (以下、GCE) のインスタンス (VM) の SSH/RDP ログインのために使える便利な機能です。 Identity-Aware Proxy (IAP) Cloud IAP とは 料金 VM にアクセスするための踏み台として使う 設定方法 VPC のファイアウォール設定 IAM 権限の付与 アクセス方法 SSH の場合 Google Cloud コンソールから gcloud コマンドか
G-genの杉村です。Google Cloud (旧称 GCP) の請求の仕組みについて解説します。 基本的な概念 概念と用語 請求先アカウントとは お支払いプロファイル 複数のプロジェクトと請求 Google Cloud パートナーによる請求代行(課金代行) 請求代行の仕組み 注意点 便利な機能 課金の分析 予算アラート 課金データの BigQuery エクスポート AWS との違い 基本的な概念 概念と用語 当記事では Google Cloud (旧称 GCP) の 請求の仕組み、また 請求先アカウント という言葉を、Amazon Web Services (以下、AWS) と比較しつつ解説します。 まずは請求先アカウントの仕組み、概念を図示します。 請求の概念 図の中にある、3つの用語を簡単に説明すると、以下のとおりです。 用語 説明 請求先アカウント 請求先情報を定義する設定オブジ
G-gen の杉村です。 Professional Cloud Architect 試験 は、 Associate Cloud Engineer 試験の上位に位置する Google Cloud (旧称 GCP) の難関認定資格です。本投稿では試験の合格に役立つ、勉強方法や出題傾向などについて解説します。 はじめに Professional Cloud Architect 試験 とは Professional Cloud Architect 試験の難易度 推奨の勉強法 ケーススタディ 出題傾向 組織 / IAM 組織のポリシー IAM の基本概念 オペレーションスイート Cloud Monitoring Cloud Logging セキュリティ・統制 Network Intelligence Center Data Loss Prevention Kubernetes / Google Ku
G-gen の杉村です。BigQuery は通常の RDBMS と異なり分析用データベースであることから、非正規化したテーブルを扱うことが多くなります。そのための独特のデータ型として、ARRAY (配列) と STRUCT (構造体) があります。これらについて解説します。 概要 ARRAY (配列) ARRAY とは サンプルテーブル SELECT SELECT 〜 WHERE SELECT 〜 CROSS JOIN SELECT (SELECT ~ UNNEST) CREATE TABLE / INSERT 制限 STRUCT (構造体) STRUCT とは サンプルテーブル SELECT SELECT 〜 WHERE CREATE TABLE / INSERT 制限 ARRAY<STRUCT> (ネストされた繰り返し列) ARRAY<STRUCT> とは サンプルテーブル SELEC
G-gen の杉村です。Google Cloud では、「サービスアカウントキーの漏洩レスポンス(Service account key exposure response)」という組織ポリシーの制約により、サービスアカウントキーがパブリックな Git レポジトリ等に漏洩した場合でも、自動的に検知され、キーが無効化されます。当記事では意図的にキーを漏洩させた場合の検証結果をご共有します。 キーの漏洩検知・無効化の自動化 有効化 設定画面へ遷移 制約を有効化 GitHub のパブリックレポジトリにキーを push 自動検知と無効化の確認 メールでの通知 WAIT_FOR_ABUSE の場合の挙動 キーの漏洩検知・無効化の自動化 サービスアカウントキーの漏洩レスポンス(Service account key exposure response)は、組織のポリシーの制約の1つであり、制約の正式な
G-gen の佐々木です。当記事では Google Cloud (旧称 GCP) の統合された機械学習プラットフォームである Vertex AI を解説します。 Vertex AI とは AutoMLとは Vertex AI における AutoML AutoML を使用したモデル作成 AutoML によるトレーニングの料金 カスタムトレーニング カスタムトレーニングを使用したモデル作成 カスタムトレーニングの料金 トレーニング方法の選択 モデル作成、予測に使用するツール Datasets Training Vertex AI Model Registry Endpoints Batch predictions Vertex AI に統合されたその他のツール Vertex AI Workbench Vertex AI Feature Store Vertex AI Labeling task
G-gen の武井です。 当記事では Infrastructure as Code (IaC) を実現する Terraform を Google Cloud (旧称 GCP) で実行する際、GitHub の CI/CD 機能である GitHub Actions を介して実行する方法を紹介します。 GitHub Actions GitHub Actions とは 概要 ワークフロー 図説 Google Cloud との連携 概要 従来の認証 Workload Identity 連携による認証 Workload Identity 連携 仕組み メリット 図説 設定方法 概要 Terraform のセットアップ GitHub Actions の設定 ディレクトリ構成 Workload Identity 連携の設定 ワークフローの定義 動作検証 概要 動作検証用リソースの定義 Pull Reque
G-gen の杉村です。Google Cloud のフルマネージドな分析用データベースである BigQuery について、徹底的に解説します。当記事は基本編であり、当記事を読み終わったあとは応用編もご参照ください。 概要 BigQuery とは 利用方法 フルマネージド (サーバーレス) 他の Google Cloud サービスとの連携 他クラウドサービスとの連携 料金 料金体系の基本 ストレージ料金 ストレージ料金の基本 Physical Storage と Logical Storage Active Storage と Long-term Storage コンピュート料金 無料枠 オンデマンド課金に制限をかける コンポーネント BigQuery の構成要素 データセット テーブル テーブルとは 標準テーブル 外部テーブル ビュー ビュー (通常) マテリアライズド・ビュー ルーティン
G-gen の杉村です。Google Cloud (旧称 GCP) の PostgreSQL 互換のフルマネージドサービスである AlloyDB for PostgreSQL について解説します。 概要 AlloyDB とは サービスの位置づけ PostgreSQL との互換性 料金 アーキテクチャ クラスタ プライマリインスタンス リードプールインスタンス ネットワーク クロスリージョン・レプリケーション 可用性 スタンバイインスタンス 読取ワークロードの可用性 可用性 SLA 災害対策 (DR) スケーラビリティ 分析 (OLAP) AlloyDB カラムナエンジンとは 自動カラムナ化 手動でのカラムストア管理 バックアップ・リストア バックアップの種類 継続バックアップとそのリストア オンデマンドバックアップ・自動バックアップとそのリストア 接続 クライアント ネットワーク 認証・認
G-gen の杉村です。Google Cloud (旧称 GCP) 上のネットワークに対する可視性を高めるためのツールである Network Intelligence Center を紹介します。 Network Intelligence Center とは 接続テスト 概要 分析の仕組み テスト可能な通信 対応ノード 対応しているネットワーク機能 料金 ネットワークトポロジ 概要 エンティティ データの鮮度 料金 パフォーマンスダッシュボード 概要 プロジェクトのパフォーマンスビュー Google Cloud のパフォーマンスビュー 確認可能な指標 料金 ファイアウォールインサイト 概要 シャドウルール 制限が過度に緩いルール ヒットのある拒否ルール 料金 ネットワークアナライザ 概要 VPC ネットワーク ネットワークサービス Google Kubernetes Engine (GKE
G-genの杉村です。 Google Cloud (旧称 GCP) の容量無制限・低価格・堅牢なオブジェクトストレージサービスである Cloud Storage を解説します。 Cloud Storage の基本 Cloud Storage とは オブジェクトストレージとは 使い方 ユースケース 料金 (基本) 用語 バケット オブジェクト メタデータ フォルダ パス Cloud Storage の詳細 料金 (詳細) ストレージクラス Soft delete ポリシー ライフサイクルマネジメント バージョニング バケットのリージョン (ロケーション) セキュリティ アクセス制御 IAM と ACL パブリック公開 パブリック公開の禁止 暗号化 保持ポリシー(Bucket Lock) オブジェクト保持(Object Lock) Autoclass Autoclass とは バケット作成後の
次のページ
このページを最初にブックマークしてみませんか?
『G-gen Tech Blog』の新着エントリーを見る
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く