本記事では、データマネジメント・ガバナンスの推進に使えそうなGoogle Data Catalogの機能を見ていきます。 「激熱！1日1製品！最強のデータ系SaaSはどれだ決定戦」アドベントカレンダーにて、これまで20の商用製品を取り扱ってきましたが、ついにネタ切れとなってしまいました…（涙）。候補として挙げていた製品は多いものの、トライアル環境を簡単に提供してくれるところがそこまで多くなかったのが現実でした。 というわけで、21本目と22本目ではクラウドベンダー製のデータカタログについて改めて見ていくことにします。本日はGoogle Data Catalog編です。 Google Data Catalogの機能をおさらい Google Data Catalogは、Google Cloudで提供されるデータ検出とメタデータ管理のためのサービスです。システム向けのメタストアというよりかは、デ

はじめに どーも、CX事業本部 MAD事業部の 田中孝明 です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 1日目 の記事です。 クラスメソッドでも Google Cloud をガンガン活用していくぞ！（あるいは既にしているぞ！）と言う気概のもと、今回のアドベントカレンダー企画が発足しました。 12/25 までの間、社内で Google Cloud を広めていきたい方々の熱い思いが綴られると思いますのでよろしくお願いします！ IAM について IAM は、どのクラウドサービスにも存在する、ユーザーやリソースに対しての権限を管理するサービスです。プロジェクトやリソース階層などの概念と同時にこの IAM の壁にぶつかります。本ブログでは自分が IAM を理解する上で気になった点をピックアップしました。 サービスアカウント について G

MAD事業部@大阪の岩田です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 2日目 の記事です。 個人的にマネージドサービスの裏側を想像するのが好きなので、FaaS実行環境でOSコマンドを実行して出力を見ながらニヤニヤするアレをやってみました。 やってみる ということで早速やっていきます。 トリガーはHTTP ランタイムはNode.js14 を指定して以下のソースコードを準備します。 const execSync = require('child_process').execSync; exports.helloWorld = (req, res) => { const cmd = 'ここに実行したいOSコマンドを設定' const result = execSync(cmd).toString(); res.status(200)

MAD事業部の小倉@大阪オフィスです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 3日目の記事です。 Google Cloud学習のとっかかりとして、Cloud Functionsを試しています。 その中でドキュメントに紹介されていたFunction Frameworkについて試してみました。 Function Frameworkとは Function Frameworkを使うと、Cloud Functionで実行する関数をローカルで実行することが出来ます。 ローカルでの開発 Functions Framework やってみる Function Frameworkは様々な言語で用意されています。 都合（私の好み）により、今回はPython版を使い、ReadMeにある例を試してみます。 (※追記) 尚、以降の手順は以下の環境で実施し

どうもMAD事業部の新井です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 4日目の記事です。 今回はgRPCの双方向ストリーミングをCloud Runで試してみたいと思います。 Cloud Runは、アプリケーションを実行できるサービスの中でも「エンドツーエンドの HTTP/2 接続、WebSocket のサポート、gRPC の双方向ストリーミングが可能」という特徴があります。詳しくはこちらをご覧ください。 双方向ストリーミングにも対応しているということなので、勉強がてら試していこうと思います。 お題: おじさんとチャットする 最近寒くなってきましたね。 人肌恋しいこの時期には「おじさんとチャットして心を温めたい」と思う人も多いんじゃないでしょうか？ そんなあなたのために、今回はおじさんとチャットできるアプリをgRPC双方向ストリ

データアナリティクス事業本部、池田です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の5日目の記事です。 Google Cloudの仮想マシン（VM）を提供するサービスの Google Compute Engine （以下、GCE）のインスタンスの 起動と停止をスケジュールすることで自動化してみます。 探した限りだとGUIでの情報があまりなかったので、今回はコンソールからGUIで行います。 触った範囲だと、公式のガイドのうち、特に↓この辺に注意が必要そうです。 【 VM インスタンスの起動と停止をスケジュールする 】 ・インスタンス スケジュールを使用するには、プロジェクトの Compute Engine サービス エージェントに次の権限が必要です。 ・compute.instances.start: VM インスタンスの起動をスケジ

こんにちは！エノカワです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 6日目 の記事です。 さて、私事ではございますが「Google Cloud から手軽にメール送信がしてみたい」 というのが、目下の関心事です。 Gmail API や SendGrid を利用する方法もありますが、他の方法は無いものだろうか。 例えば、他のクラウドサービスが提供するメール送信サービスを利用する方法とか、、、 ということで、今回はCloud Functions と Amazon SES を連携させてメール送信を試してみました。（強引） 概要 構成図はこんな感じです。 Cloud Functions で Amazon SES のメール送信APIを呼び出す関数を作成し、 コンソールからその関数を実行してメールを送信します。 今回はお試しということで、と

アライアンス統括部のさいちゃんです！ この記事は クラスメソッド Google Cloud Advent Calendar 2021の7日目の記事です。 今回は以前開催された『Google Cloud Next ’21 Recap: Japan』 で紹介された、セッシらョンの中から気になるものをご紹介して行きます。 セッション概要 今回は『Google Cloud で機密データを適切に取り扱う方法』と題して様々な方法やユースケースを紹介してくれるセッションです。 登壇者はGoogleCloud カスタマーエンジニア 車谷テリー 氏です。 はじめに 現在ではデータは皆さんの会社に利益をもたらす、重要な資産の一つであると言えます。 しかし、同時に最大のビジネスリスクにもなりえます。例えば個人情報のの流失がビジネス上の大きな問題となってしまう、といった場合です。 では大切なデータをどのように守れ

こんにちは。アライアンス統括部プリセールススペシャリストの兼本です。 このエントリは クラスメソッド Google Cloud Advent Calendar 2021の8日目の記事です。さいちゃんの7日目のエントリに続き、『Google Cloud Next ’21 Recap: Japan』 から個人的に面白かったセッションをご紹介します。 セッション概要 Google Cloud の機械学習（ML）のプロダクトを使うと、モデルの開発や運用効率を高めることができます。さらにビジネスの意思決定者は、Looker と Vertex AI を通して明快で信頼性の高い処理結果にアクセスできます。このセッションでは、Looker の拡張機能フレームワークを活用して、独自の UX を構築する方法を取り上げます。このフレームワークによって、Google Cloud に構築されているデータサイエンスア

MAD事業部@大阪の岩田です。 本エントリはクラスメソッド Google Cloud Advent Calendar 2021の10日目の記事です。 私の所属するMAD事業部では近年ojichatを利用したサービスを構築する機会が増えているようです。 私もojichatを使ったAPIぐらいはサクッと構築できるようにならないとMAD事業部の流行から取り残されそうな危機感を感じたので、Cloud Functionsを使ったojichatのHTTP API構築に挑戦してみました。 環境 今回利用した環境です Go : 1.16.7 Functions Framework for Go : v1.5.2 ojichat: v0.2.2 やってみる ということでさっそくやっていきます。ローカル環境でAPIを開発し、動作確認が取れたらGoogle Cloud上にデプロイして動かしていきます。 ローカル

データアナリティクス事業本部・機械学習チームの貞松です。 今回は初のGoogle Cloud関連です。 本記事は「クラスメソッド Google Cloud Advent Calendar 2021」の12日目のエントリーです。 Google BigQuery上で機械学習を実行可能なBigQuery MLという機能があります。 この機能に関する概要と2020年12月時点の機能について、以下の記事にまとめられています。 2021年におけるBigQuery MLのアップデートトピックとして、異常検知機能の一般提供が挙げられます。 本記事では、BigQuery MLによる異条検知の概要について解説しつつ、適用可能なデータソース別の利用手順を示します。 BigQuery MLによる異常検知の概要 BigQuery MLによる異常検知は、2021年6月22日にプレビュー機能としてリリースされ、2021

こんにちは！エノカワです。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 13日目 の記事です。 さて、前回のエントリではCloud Functions と Amazon SES を連携させてメール送信を試してみました。 コンソールからCloud Functions の関数を実行して、Amazon SES 経由でメールを送信するというシンプルな構成でした。 実際の運用では、定期的に実行するバッチ処理の完了通知にメール送信の仕組みが利用されるのではないでしょうか。 例えば、サーバーレスでワークフローを定義できる Google Cloud の Workflows というサービスと組み合わせて利用するとか、、、 ということで、今回はGoogle Workflows で Cloud Functions をスケジュール実行してみました。（強引）

どうもMAD事業部の新井です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の14日目の記事です。 あまりいいネタも思いつかなかったので、前回作成したojichat-streamをGoogle Kubernetes Engine(GKE)にデプロイしてみようと思います。 正直GKEは触ったことないので、初歩的な内容になるかと思います。 概要 こちらのESPを使用したGKE用Endpointsのスタートガイドを参考に進めていきます。 GKE上のgRPCサーバーと通信するためにCloud EndpointsのESPv1を利用します。ESPv1はNginxベースのリバースプロキシとして動作し、サイドカーコンテナとしてアプリケーションと一緒にデプロイすることで、認証、モニタリング、ロギングなどのCloud Endpointsの機能が利用可能です

Google Cloud Vision API を使って、PDFから文字を抽出し、簡易的なEPUB を作成してみました 西田@大阪@MAD事業部です。 本エントリは クラスメソッド Google Cloud Advent Calendar 2021 の 15日目 の記事です。 今回は Google Cloud Vision API を使って、PDFから文字を抽出し、簡易的なEPUB を作成してみました Cloud Vision APIとは Cloud Vision API は機械学習の知識がなくても、簡単に画像の解析が可能でサービスです。画像、PDF/TIFF からテキストを抽出したり(OCR)、ランドマーク検出、顔検出などができます。 参考: 機能リスト | Cloud Vision API | Google Cloud 構成 Input 用の Cloud Storage に PDFファ

Cloud DLP で BigQuery テーブルの特定のカラムの機密情報をマスキングしてみた 〜カスタム infoType の指定方法を添えて〜 こんにちは、みかみです。 本記事は、クラスメソッド Google Cloud Advent Calendar 2021 の 16 日目のエントリです。 Google Cloud 好きなクラスメソッド社員が紡ぐ今年の クラスメソッド Google Cloud Advent Calendar 2021、最終日の25日までお楽しみいただけたら幸いです！ やりたいこと Cloud Data Loss Prevention（DLP）で、BigQueryのテーブルデータをマスキングしたい BigQueryテーブルの特定のカラムのみをマスキングしたい 組み込み infoType ではマスキングされなかった項目を、カスタム infoType を使ってマス

データアナリティクス事業本部・機械学習チームの貞松です。 今回もGoogle Cloudの機械学習関連サービスです。 本記事は「クラスメソッド Google Cloud Advent Calendar 2021」の17日目のエントリーです。 Google Cloudの機械学習サービスとしてVertex AI(旧AI Platform)があります。 今回はVertex AI上のデータセットとAutoMLの機能を利用して、画像中のペットボトル飲料を検出するモデルを作成します。 データセットの作成 データのアップロード まずは画像オブジェクト検出のデータセットを作成します。 任意のデータセット名を入力して、データタイプと目標の選択で画像オブジェクト検出を選択します。 リージョンについて、画像オブジェクト検出はasia-northeast1(東京)では使用できない為、今回はus-central1(

はじめに こんにちは、CX事業本部MAD事業部の森茂です。 本エントリーはクラスメソッドGoogle Cloud Advent Calendar 2021の18日目の記事です。 本記事の執筆でGoogle Cloudデビューしました。 みなさんもojichatをもっと手軽に利用できないかという相談をうけることがよくあるかと思います。 今回はそういったご要望に応える方法のひとつとして、Google Cloudの仮想マシンを作成できるサービスであるGoogle Cloud Compute Engine（以下GCE）をTerraformで構築し、手軽にコンソールのSSHターミナルからojichatを実行できる環境を構築してみました。 環境構築 Terraformを使って環境を構築するには事前の準備が必要になります。下記ツールのインストールとGoogle Cloudで利用できるプロジェクトを管理コ

※Microsoft StoreからPythonをインストールしている場合は「C:\Users\<username>\AppData\Local\Microsoft\WindowsApps」配下に各バージョンのPython実行用exeファイルがインストールされています。 Windowsで過去バージョンと現在バージョンの両方を使い分けたい場合は、pipenvを利用する方法があります。 pipenv --python 3.8 > pipenv shell pythonの複数バージョン（3.8と3.9など）をインストールしている環境では、 pipenvでpythonバージョンを指定して仮想環境を立ち上げることができます dbt CLIのインストール dbt CLIは、homebrew、pip、sourceのいずれかで入手できます。本ブログではpipインストールを行います。 ＜仮想環境の作成＞ >

はじめに おはようございます、MAD事業部の加藤です。 本エントリーはクラスメソッドGoogle Cloud Advent Calendar 2021の20日目の記事です。 Cloud RunにSession Managerを使って強引にシェルアクセスする方法を紹介します。Cloud Run、Session Managerともに想定されていないと思われる使い方をしており、Dockerコンテナ運用方法として褒められた物では無いので決して本番環境では使用しないようにお願いします。開発・検証環境でログ出力によるデバッグが手間、雑にでも良いからコンテナ上で簡単に行いたい作業がある場合などを想定しています。 解説 ハイブリッド環境におけるSystems Manager ハイブリッド環境（AWS以外の環境を併用すること）のサーバーをSystems Managerの管理下に置くためには、AWS上のインス

はじめに 本記事はクラスメソッドGoogle Cloud Advent Calendar 2021の21日目の記事です。 Google Cloudの請求データは、「お支払い（Billing）」コンソールで確認が可能です。 Cloud Billing レポート  |  Google Cloud こちらで利用状況ふくめ確認が可能なのですが、より詳細に分析したかったり、外部のデータと連係したかったりする場合には、BigQueryにエクスポートして利用することになります。 Cloud Billing データを BigQuery にエクスポートする  |  Google Cloud ちなみに「外部のデータと連係」というのは、以下のようなことを想定してます： プロジェクトに対する担当者や管理者の名前や部署・連絡先などのメタ情報を別途登録・管理しておく 別途登録する先 = Googleスプレッドシート