Loading Parquet data from Cloud Storage | BigQuery | Google CloudAccelerate your digital transformation Whether your business is early in its journey or well on its way to digital transformation, Google Cloud can help solve your toughest challenges.
BigQuery release notes | Google Cloud
Send feedback BigQuery release notes Stay organized with collections Save and categorize content based on your preferences. This page documents production updates to BigQuery. We recommend that BigQuery developers periodically check this list for any new announcements. BigQuery automatically updates to the latest release and cannot be downgraded to a previous version. You can see the latest produc
Separation of storage and compute in BigQuery | Google Cloud Big Data and Machine Learning Blog | Google Cloud Platform
Try Google CloudStart building on Google Cloud with $300 in free credits and 20+ always free products. Free Trial When Google BigQuery launched in 2012, it introduced several novel service designs: a fully managed “serverless” operational model, rapidly scalable and multi-tenant compute, pay-per-job pricing, in-place data sharing, and perhaps most significantly: separation of storage a
BigQueryのクエリ課金額をslack通知する - Gunosyデータ分析ブログ
はじめに こんにちは、データ分析部の阿部です。 Gunosyには社内警察と呼ばれる人がおり、たとえばデータ可視化の際に円グラフを使うと正しい使い方を教えてくれる、母数という言葉の使い方を正してくれる、方々がいます。 tech.gunosy.io 今回はBigQueryで課金額の高いクエリを投げると警告してくれる、課金警察というボットを作ったので紹介します。 BigQueryはクエリで使われるデータ量に対して従量的に課金されるため、クエリ毎の課金額が把握できると便利です。 Gunosyではエンジニア・非エンジニア問わず、インターン生でも自由にクエリを書いて分析できる環境となっているため、知らず知らずのうちに大胆なクエリが投げられることもあります。 そのため、課金警察でクエリ毎の課金額をSlackに通知しお互いに監視して注意しようという意図です。 どうやってやるか BigQueryにはクエリの
MySQLからBigQueryの同期を差分更新にしたら4倍高速になった話 / Sync from MySQL to BigQuery become 4x faster by incremental updating - Speaker Deck
Embulk Meetup Tokyo #3のLTです
15 Awesome things you probably didn’t know about Google BigQuery
Born out of Dremel in 2012, Google BigQuery is a very unique analytics data warehousing service. BigQuery is often described as serverless, no-ops, seamlessly scalable, and fully managed. Since BigQuery truly has no equivalent, it bears mentioning some of the less obvious aspects of what makes BigQuery so amazing! EncryptionBigQuery (and Google Cloud in general) takes security very seriously. For
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
BigQuery and Dataproc shine in independent big data platform comparison | Google Cloud Blog
I'm a big fan of Mark Litwintschik's latest series of blog posts. He's been measuring every big data platform he can find using the billion taxi trips made available as open data by the NYC TLC. Spoiler alert: I love the stellar results for Google BigQuery and Google Cloud Dataproc — but before we get there, here’s my visualization of Mark’s findings in a nutshell: ">I'm a big fa
The 12 Components of Google BigQuery
Folks have been discussing BigQuery quite a bit these days, which is fantastic. But there’s a lot of STUFF to BigQuery — it’s a sophisticated, mature service with many moving pieces, and it’s easy to get lost! In order to aid in understanding what exactly IS the BigQuery service, here is a quick rundown of what I’d consider the major user-facing components: Serverless Service ModelOpinionated Stor
トレタにおけるBigQueryの活用法について - トレタ開発者ブログ
サーバーサイドエンジニアの芹沢です。 トレタは検索用のデータストアとしてBigQueryを使用しています。 奇抜な使い方はしていませんが、トレタにおけるBigQuery活用法を紹介します。 システム構成 BigQuery周りのシステム構成を１枚の図にまとめるとこんな感じです。珍しいものは使っていませんがその分安定した構成かと思います。 BigQueryにimportしているデータ 大きく分けて以下2種類のデータをBigQueryにimportしています。 1.APIが参照しているRDBのデータ APIが参照しているRDB(Amazon Aurora)のslaveからデータをimportしてデータ分析や調査用のデータ検索業務に使っています。 2.各種ログ 以下のログをfluentdでBigQueryに保存しています。 nginxのaccessログ railsで1リクエスト単位で出力しているカ
Python使いのためのBigQuery連携 - Qiita
PythonとBigQueryのコラボ データ分析を行う上で、PythonとBigQueryの組み合わせはなかなかに相性がよいです。 Pythonは巨大すぎるデータの扱いには向いていませんが、その部分だけをBigQueryにやらせてしまい、データを小さく切り出してしまえば、あとはPythonで自由自在です。 問題はPythonとBigQueryをどう連携するかですが、これは大きく2つの方法があります PythonのBigQuery連携ライブラリを使う Google Cloud Datalabを使う 2は特にJupyter Notebookを使い慣れている人におすすめです。 1.PythonのBigQuery連携ライブラリを使う オススメのライブラリ PythonからBigQueryを叩くためのライブラリはいくつかあります。 例えば、BigQuery-Python、bigquery_py な
Google Cloud Datalabを使ってBigQueryのデータを分析する - ZOZO TECH BLOG
こんにちは。VASILYでインターンとして働いている永井です。大学では統計の研究をしていて、VASILYでは主にデータ分析に取り組んでいます。今回は先月の10月13日にβ版で提供開始となったGoogle Cloud Datalabを試してみたので、その紹介をしたいと思います。 1.Cloud Datalabとは？ 2.準備 3.Notebookの作成 4.BigQueryからのデータ取得 5.取得したデータの可視化 という流れで紹介していきます。 Cloud Datalabとは？ Cloud Datalabの特徴 Cloud Datalabは、Google Cloud Platform上で起動するJupyter Notebook（旧IPython Notebook）のことです。 特徴としては、 ・BigQuery、Compute Engine、Cloud Storage上にあるデータの分析
Bigqueryの内部処理について徹底解剖してみた| PLAID engineer blog
プレイドで使い倒しているBigqueryの内部構造について徹底解剖してみました！
RubyでBigQuery始めました | feedforce Engineers' blog
初めまして！今年１月からジョインしたyukiyanです。 feedforceではアプリケーションエンジニアを担当しています。 最近、弊社のあるプロジェクトにて Google BigQuery を導入しました。 その際、学びがいくつかあったので知見として投下します。 ※ Railsのプロジェクトなので、一部のサンプルコードにRailsの表現も含まれています。 BigQueryとは BigQueryとは、Google Cloud Platform(以下、GCP)が提供するクラウドサービスです。 超でかいデータをSQL風のクエリで数秒で解析できます。 5億件のデータを3秒程度でフルスキャンできます。 もっと知りたいという方は、hadoop - Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiitaを参照してください。 gemの
BigQuery under the hood: Google's serverless cloud data warehouse | Google Cloud Blog
Try Google CloudStart building on Google Cloud with $300 in free credits and 20+ always free products. Free Trial In our previous blog post, we discussed how fast BigQuery really is, and how easy it is for BigQuery users to leverage vast resources. Today we’ll dive deeper and discuss what it takes to build something this fast. We’ll also talk about what BigQuery hides under the hood, l
BigQuery - Google Code
Interactively analyze large datasets BigQuery is a web service that enables you to do interactive analysis of massively large datasets. Scalable and easy to use, BigQuery lets developers and businesses tap into powerful data analytics on demand. Features Speed - Analyze billions of rows in seconds Scale - Terabytes of data, trillions of records Simplicity - SQL-like query language, hosted on Goog
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker Deck
BigQuery によるインメモリ クエリの実行