はじめに こんにちは、久しぶりに技術系の記事を書きます、株式会社カンムで機械学習エンジニアをしている fkubota です。 今日はSQLについてです。 弊社に入社してから毎日のようにSQLのクエリを書いてきました。 クエリを書き始めてからもう3年が経とうとしています。 日々クエリを書きながら少しずつ自分のスタイルが出来上がってきているのを日々実感しています。 僕は 正確で 読みやすく 再利用しやすいクエリを 高速に 生み出すための工夫を重ねてきました。 結果的にテスト駆動開発ぽいスタイルが生まれたので今日は紹介してみようと思います。 似たような記事がないので少しドキドキですが温かい気持ちで読んでもらえると嬉しいです。 対象読者 対象読者は、分析のためにクエリを書いている人とします。 プロダクトに乗せるクエリというより、ビジネス的になにか示唆を得たいときにクエリを書く人を想定します。 痛み

BigQueryがDocument AIを統合。請求書など画像データの内容をSQLで検索可能に、AIが画像から項目や数値を自動抽出 Google Cloudは、大規模並列データ処理サービスのBigQueryに、画像データから自動的に内容を抽出するAI機能「Document AI」を統合したと発表しました。 Document AIは、請求書や領収書、パスポート、契約書といったドキュメントの画像データを与えると、その項目と内容を生成AIによって自動的に抽出する機能を提供します。 BigQueryがDocument AIを統合することで、BigQueryからSQL文を用いてドキュメントの画像データ群に対して問い合わせが可能になります。 例えば、Google Cloud Storageに請求書の画像スキャンをまとめて保存しておき、BigQueryで今月の日付の請求書の合計金額をSQLで求める、など

こんにちは、クラウドエース Data/ML ディビジョン所属の坂田です。 先日、Google I/O 2023 が開催され、Google からさまざまな新サービス・新商品について発表されました。その中で多くの注目を浴びたのは、生成 AI に関する発表です。Google I/O 2023 では、新たな大規模言語モデル（以下、LLM）である「PaLM 2」や様々なサービスに生成 AI が組み込まれることが発表されました。 この記事では、今回発表された Google Cloud の生成 AI のサービスの中から、「Generative AI Studio」の「ファインチューニング」の機能について解説・検証します。 1. Generative AI Studio とは Generative AI Studio は、Google が持つ基盤モデルを API として利用できるサービスであり、Verte

この記事は GMOアドマーケティング Advent Calendar 2022 23日目の記事です。 こんにちは、GMOアドマーケティングの平木と申します。 今回は、非エンジニアPdMの自分が、Vertex AIで広告配信用の機械学習モデルを作成してみた体験について書いていきたいと思います。 Vertex AIとは Vertex AIとはGoogle Cloud Platform 上における機械学習プラットフォームで、データの前処理からモデル構築、予測やデプロイまでを一元的に行うことができるプラットフォームです。 Vertex AIのAutoML を使用することで、コードを書かずにGUIベースの操作のみでモデルをトレーニングすることができるため、学習を兼ねて広告配信用の機械学習モデルを作成してみました。 何を予測する機械学習モデルを作成するか 今回は、広告配信用の機械学習モデルとしてより初

この記事は、Money Forward Engineering 1 Advent Calendar 2022 7日目の投稿です。 6日目は koyoさんで i18n YAML ファイル中の日本語/英語のズレを検知する単体テスト でした。 本日は私が「メタデータ管理の最初の一歩」について書いていきたいと思います。 はじめに 初めまして、CTO室分析基盤部のnakamoriです。 私は22新卒でこの分析基盤部に配属されてから半年、データ分析基盤の開発と運用を行っています。 今回は入社して一番大きなプロジェクトだったメタデータ管理についてお話ししようと思います。 この記事が想定する読者 分析基盤であるDWH（データウェアハウス）にデータが蓄積されてきたが、メタデータ管理をまだ行っていない人 データカタログツールを導入しようか迷っている人 抱えていた課題 弊社マネーフォワードは40を超えるサービス

はじめに 株式会社 RetailAI X Advent Calendar 2022 の 8 日目の記事です。 昨日は@tanabe_shogoさんの『Node.jsを使って、BigQueryからデータを取得するWebAPIを作る』でした。 本日は ML エンジニアの@atsukishが担当します。普段は機械学習モデルの開発以外にも、機械学習モデルの安定的な開発・運用基盤である MLOps の開発も担当しております。MLOps については以下の弊社テックブログでわかりやすい解説がありますので、こちらも参照ください。 機械学習モデルを安定的に開発・運用していくためには、MLOps のような機械学習向けの運用基盤が必要となります。次の図に示すように MLOps において機械学習モデルのアルゴリズムに該当するソースコード（ML Code）はごく一部であり、必要となる周辺要素は膨大で複雑です。ML

データ基盤グループの吉本です。 今回は先日開催されたdatatech-jp Casual Talksで登壇した内容について補足も含め紹介します。 datatech-jp.connpass.com 発表資料はこちらです。 データ基盤に関わる問い合わせ対応を仕組みで解決する from 株式会社MonotaRO Tech Team www.slideshare.net 発表内容の背景（問い合わせ対応における課題） 発表したこと 発表の反響 最後に datatech-jpは主にデータエンジニアリングやデータ活用に関わる方が参加するコミュニティで、DWHやデータマネジメント、データエンジニアリングに関わる技術、ツールなどについて知見を共有したり、輪読会やLT会のようなイベントを実施しています。 オーガナイザーとして同社同僚の吉田(id:syou6162)が参加しています。 その中でCasual

毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management

BigQueryの標準SQL対応によって競合サービスからの乗り換えが発生するか？ ～Redshiftと使用感を比較してみた～ 分析の試行錯誤フェーズではRedshift。分析の”型”が決まったらBigQuery。 ビッグデータ分析においてデータベースは必要不可欠であることは言うまでもありません。これらのビックデータ向けデータベースの代表格としてオンプレミスではOracle Exadata、クラウドサービスではAmazon Redshift（以下、Redshift）などがあります。弊社でもRedshiftを長年使用してきましたが、最近、Google Cloud Platform（以下、GCP）のBigQueryが、色々改善されたため、RedshiftなどのRDB（リレーショナルデータベース）と使用感を比較してみました。 前回までのBigQueryのおさらい：速い・安い・シンプル 実は1年半前

データ分析部インターン生の小川です。インターンでは主に動画収集のロジック実装に取り組んでいました。 Gunosyではログの管理にRedshiftとBigQueryを使用しています。 サービスはAWS上で動いているものも多いので基本はRedshiftで、ログの量が多いものやアドホック分析に用いるものはBigQueryに格納しています。 この2つのサービスでSQLの書き方が微妙に異なるところがあり、もどかしい経験をしたので、今回は、よく使うSQLの文法でRedshiftとBigQueryで表現が異なる所をまとめてみようと思います。 BigQueryの導入についてはこちらの記事をご覧ください。 また、この記事ではBigQueryはStandard SQLで記述していきます。 data.gunosy.io 日付・時刻関数 現在時刻(UTC) 現在時刻(JST) 現在の日付(UTC) 現在の日付(J