BigQueryでの集計結果をノーコードでSlackに定期投稿してみた - ZOZO TECH BLOG
こんにちは、DATA-SREチームの塩崎です。最近気になるニュースは「ネコがマタタビを好む理由が蚊を避けるためだった1」です。 さて、皆さんはデータ基盤で集計した結果をどのようにして確認していますか。LookerやPower BIなどのBIツールを使って綺麗なダッシュボードを作成している方も多いかと思います。しかし、全員が毎日確認すべき数値はSlackなどの全員が日常的に目にする場所へ掲げたいです。本記事ではBigQueryとSlackを連携させる機能をノーコードで作成する方法を紹介します。 従来手法 BigQueryで集計した結果をSlackに通知するためにはGoogle Apps Script（以下、GAS）を用いるやり方が現在では主流です。GASの文法はJavaScriptとほぼ同じであり、普段分析をメインで担当している人たちには馴染みの薄い言語です。また、Cloud Functio
SQLで始める自然言語処理 - やむやむもやむなし
こちらの記事はRecruit Engineers Advent Calendar 2020の24日目の記事です。メリークリスマス！ adventar.org 仕事の分析で使うデータはほとんどがBigQueryに保存されているため、基本的な分析作業の多くはBigQueryでSQLを書くことで行なっています。 BigQueryでテキストデータを扱おうと思うとSQLではできない or 取り回しが悪いことも多く、一度Pythonでスクリプトを書いてその結果を再度BigQueryのテーブルに格納し、Joinして分析に使うということをしていました。 しかしこのやり方だとテキストデータを分析したいときは毎回Pythonのコードを書きにいかねばならず、またPythonでのテキスト処理も決して早いとはいえず、せっかくBigQueryでさくさく分析しているのにどうしてもテキスト処理に部分が作業時間のボトルネッ
BigQueryで測定系の地理関数を確認してみた(BigQuery GIS) | DevelopersIO
当エントリは、『クラスメソッド BigQuery Advent Calendar 2020』15日目のエントリです。 本アドベントカレンダーでは、12月01日〜12月25日までの25日間、弊社DA（データアナリィクス）事業本部のメンバーがBigQueryに関連するブログを公開していきます。 BigQueryはDWHとしての機能だけでなく、BigQuery GIS（地理情報システム）を用いて地理データ型と標準のSQL地理関数を使用して、地理空間データを分析および可視化を行うことが出来ます。 当エントリでは、標準のSQL地理関数の一部(測定系のみ)を紹介をしていきます。 測定系の地理関数 現時点(2020/12/15)で利用できる測定系の地理関数は5つあり、それぞれ簡単にまとめます。 標準 SQL の地理関数 ST_AREA ST_AREA(geography_expression[, use
GIS×BigQuery 〜2地点間の距離を算出〜 - Qiita
BigQueryである2地点間の距離を求める方法 ①BigQueryの地理関数ST_GEOGPOINTとST_DISTANCEで求める ※完全な球体として表面上の距離を計算している ②JavaScriptのユーザー定義関数（UDF）で求める 早速、任意の位置情報を2列用意して実践してみた CREATE TEMP FUNCTION distance(lon1 FLOAT64, lat1 FLOAT64, lon2 FLOAT64, lat2 FLOAT64) RETURNS FLOAT64 LANGUAGE js AS """ lon1 *= Math.PI / 180; lat1 *= Math.PI / 180; lon2 *= Math.PI / 180; lat2 *= Math.PI / 180; return 6378.137 * Math.acos(Math.cos(lat1)
SQLおじさん(自称)がBigQueryのStandard SQLを使ってみた
Kumano RyoCloud Engineer at Groovenauts, Inc. / GCPUG Fukuoka
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
