nouhau/workflows/example/spanner-to-bigquery at master · gcpug/nouhauYou signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
マネーフォワード ケッサイのBigQueryリソース ラベル規約 | Money Forward Kessai TECH BLOG
BigQueryの布教活動をしていますna0です。 この文書は、BigQueryリソースに対する期待値をラベルで明示する提案を行うものです。 組織全体でデータ品質に合意するための第一歩としてBigQueryリソース ラベルを使ってみませんか。 ラベル品質のベースラインとして、マネーフォワード ケッサイで運用している規約を紹介します。 BigQueryリソース ラベル規約 この文書は、データ活用を促すためのBigQueryラベル規約を定めるものです。 提案、指摘をお願いします。 結論 BigQueryリソースに対する期待値をラベルで明示しましょう 一貫性を持ったラベル付けのために、規約を整備したのでご協力ください 課題意識 BigQueryの利用者が増えていくと、リソースに対する期待値も様々です。 期待値に合うリソースなのかを利用者自身で判断できる状態が望ましいです。 期待値がずれていると、
Google の SQL parser/analyzer の ZetaSQL とは何であるか
2019年4月に Google の SQL parser/analyzer の ZetaSQL が公開されました。 現在 BigQuery Standard SQL や Cloud Spanner で実装されている SQL 方言であり、 Cloud Next 2019 で BigQuery UI から Cloud Dataflow で実行されるパイプラインを記述できる機能として発表された Cloud Dataflow SQL にも使われることがツイートからも見て取れます。 ZetaSQL については Google の外の人がまともに言及しているのを見たことがなく、聞いたことがないか様子見という人が多いと思うので分かっていることを書いていきます。 既存の文献から見る素性ZetaSQL は Spanner の SQL 実装について書かれた Spanner: Becoming a SQL Sys
BigQuery MLの線形回帰で電力需要予測やってみた
グルーヴノーツ コンサルタントの吉村です。 先週（日本時間7月26日午前1時過ぎ）に発表されたBigQuery MLを試してみました。 BigQuery MLとはGoogleのDWHであるBigQuery上で線形回帰とロジスティック回帰を実現するものです。 もちろんBigQueryで動くのでモデルを作るところも並列で高速に処理されることが期待できます。 これまで線形回帰といえばR言語やPython、またはExcelの分析ツールアドイン（16項目制限有り）を使っていたかと思います。 これがBigQueryでやればクエリを書けばプログラミングはいらないしデータサイエンティストには便利ですよね。 さて実際に使ってみたいと思います。題材としてはもちろん電力需要で線形回帰でモデルを作って予測していきます。元ネタのデータはこの形です。 説明変数 ・月（1〜12の整数が文字列として入っている） ・曜日（
BigQueryのおとーさん達、JordanとFelipeに話しを聞いてきた - Qiita
はじめに これは2017/06/14のGoogle Cloud Community fes @ Google Cloud Next'17 Tokyoでの#bq_sushiにて開催されましたセッション『Jordan本人だけどなんか質問ある？』の内容となります。 端折っている部分や記憶が若干曖昧な部分、ごにょごにょもありますが、ご了承ください。 お題１：スロットとは何か？もう少し教えてください！あと、事前にTierを知る方法はありますか？ Jordanおとーさん： その質問は良く聞かれる。知りたい理由も知っている。 現在、1スロットに割り当てられるメモリなど処理能力はわかっているのだが、あえて答えていない。なぜ答えないのかは、その処理能力が日々向上しているからなんだ。だから、知っておいてほしいのは1スロットというのが並列処理されている数だと認識してほしい。 あとTierの制限については遠くない
BigQueryの新しい料金体系High Compute Queryは廃止されました。 - Qiita
High Compute Queryは2017年11月に廃止になったので、この記事は過去の思い出です。 https://cloud.google.com/bigquery/docs/release-notes?hl=en#november_14_2017 今後はBillingTierが100を超えない限りは、特に料金が変わることはありません。 BillingTier100超えはかなりの無茶をしないと出てこないので、滅多に気にすることはありません。 ただ、単純なパフォーマンスチューニングとして、以下のノウハウはまだ役に立ちます。 High Compute Queryに備える！Dremelの気持ちになって考えるパフォーマンスチューニング 以下、過去の思い出話となった内容 BigQueryのQuery料金は今までどんな複雑なクエリを書いても、データを読み込んだ容量に対して料金が決定されていました
Announcing Realtime Exporting of your Analytics Data into BigQuery
Announcing Realtime Exporting of your Analytics Data into BigQuery One of Firebase Analytics’ most powerful features is the ability for you to view and analyze your Analytics data directly in BigQuery. By linking your Firebase apps with BigQuery, all of your raw, unsampled, app data is exported into BigQuery on a daily basis. This gives you the ability to run powerful ad-hoc queries on your data,
BigQuery public datasets | Google Cloud
Send feedback Stay organized with collections Save and categorize content based on your preferences. BigQuery public datasets A public dataset is any dataset that is stored in BigQuery and made available to the general public through the Google Cloud Public Dataset Program. The public datasets are datasets that BigQuery hosts for you to access and integrate into your applications. Google pays for
Github on BigQueryを使ってgoでよく使われるpackageを調べる - Qiita
Github on BigQueryとは Google Cloud Platform Blog: GitHub on BigQuery: Analyze all the open source code にあるように、Githubにある全てのオープンなソースコードに対してBigQueryからクエリがかけられます。すごい。 Goで使われているpackageを調べる 以下にあるサンプルに、よく使われるgoのpackageを調べるクエリが載っている。 GitHub Data | BigQuery | Google Cloud Platform 例ではTop10だが、30にしてやってみた。 以下のクエリ例では sample_xxxというデータを間引いた小さなテーブルを参照してますが、結果は sample_を取り除いたテーブルに対して実行しています。 クエリ SELECT REGEXP_EX
BigQuery 1.11, now with Standard SQL, IAM, and partitioned tables | Google Cloud Blog
BigQuery is Google Cloud Platform’s serverless analytics data warehouse. It's used by thousands of companies — both big and small — to store, understand, and analyze large amounts of data. Today, we’re announcing a host of new features that make BigQuery more compatible with traditional big data workflows: ">BigQuery is Google Cloud Platform’s serverless analytics data ware
GitHub on BigQuery: Analyze all the open source code | Google Cloud Blog
Felipe HoffaDeveloper Advocate, Google Cloud Platform Google, in collaboration with GitHub, is releasing an incredible new open dataset on Google BigQuery. So far you've been able to monitor and analyze GitHub's pulse since 2011 (thanks GitHub Archive project!) and today we're adding the perfect complement to this. What could you do if you had access to analyze all the open source software in the
グーグルのデータ分析サービス「BigQuery」が標準SQLをサポート
法人向け事業の加速を図るGoogleが米国時間6月2日、クラウドベースのデータ分析サービス「BigQuery」を強化したと発表した。従来のビックデータサービスとの互換性改善などが加わった。 BigQueryの強化として、標準のSQLをサポートした。これに加えて、高度なクエリプランニングと最適化も可能となり、SQLステートメントでの任意の複雑なサブクエリがかけられるようになった。さらには、日、時間、アレイ、構造体など幅広い型システム、それにTheta Joinもサポートした。 Googleはまた、アイデンティティとアクセス管理の機能「Cloud IAM」をBigQueryでもベータとして提供する。これにより、BigQueryプロジェクト向けの許可を完全に自動化でき、管理者は詳細にセキュリティポリシーを作成できる。 最後に、Googleは時間ベースのテーブルパーティショニング機能も導入した。複
BigQueryで待望のUDF(user-defined function)がリリースされたので早速試してみた | feedforce Engineers' blog
ゆきやんです！ ついに出ました！！ UDF！！！ 前回の私の投稿では弊社でのBigQueryの導入事例をご紹介いたしました。 今回は、今朝リリースされたBigQueryの新機能であるUDFについて書きたいと思います。 UDFとは UDFとは、BigQueryで実行するクエリ内にJavaScriptを書いて任意のロジックが実行できるようになる機能です。 この機能によって、BigQueryのクエリでは表現しづらかったことも表現しやすくなります。 UDFはすぐに試せる UDFを用いたクエリの実行は、以下のようにBigQueryのWebUIからすぐに試すことができます。 Query Editorでは、クエリを入力します。 UDF Editorでは、UDFを入力します。 実際に使ってみる では、実際に使ってみながら説明していきます。 ある数値をカンマ区切りの金額表示形式に変換してみましょう。 (例:
Breaking the SQL Barrier: Google BigQuery User-Defined Functions
Breaking the SQL Barrier: Google BigQuery User-Defined Functions Many types of computations can be difficult or impossible to express in SQL. Loops, complex conditionals, and non-trivial string parsing or transformations are all common examples. What can you do when you need to perform these operations but your data lives in a SQL-based Big data tool? Is it possible to retain the convenience and s
BigQueryでデータロード時に欠損値の読み込みルールまとめ - Qiita
最近、bigqueryの評価を行っている。本番向けのデータではよくあることだが、本来データが入る場所にnullが入っていたり、要素が無かったり、逆に要素が多かったりする。 bigqueryはTreasureDataの様にスキーマレスではなくきちんとスキーマを定義しなければならない。 bigqueryでは、スキーマの定義にjsonを使い、データのロードにもjsonを使うため、要素にミスマッチが発生する場合が考えられる。 スキーマとjsonで要素のミスマッチがあった場合は、データにnullが入っていた場合のbigqueryの挙動に関してまとめた。 最初に結果だけ書き、後半に実際にデータロードで試したサンプルを乗せる。 データロード時のBigQueryスキーマと、jsonの対応 送信jsonにスキーマがある。 送信jsonにスキーマが無い
BigQueryメモ書き - Qiita
ただのメモ書き。 SQLのTipsなどなど。 月初を出す。 ★bigqueryが持っている関数で月初を出して、それ以上を求める。 hogehoge >= TIMESTAMP(DATE(DATE_ADD(CURRENT_TIMESTAMP(), -DAY(DATE_ADD(CURRENT_TIMESTAMP(),-1,"DAY")),"DAY"))) ※DATEで変換（時間切り捨て）するSTRINGになる。不便。 ★うちが持っているタイムスタンプを変換して=で繋げてみる。 YEAR(hogehoge) = YEAR(CURRENT_TIMESTAMP()) AND MONTH(hogehoge) = MONTH(CURRENT_TIMESTAMP()) 日本時間 DATE_ADD(CURRENT_TIMESTAMP(),+9,"HOUR") 同年同月比 TIMESTAMP(DATE(DATE
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
毎月約500万本のクエリが投げられる BigQuery の運用とデータマネジメント / BigQuery and Data Management
Medium
Export Cloud Billing data to BigQuery | Google Cloud
http://storage.googleapis.com/bigquery-udf-test-tool/testtool.html