BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
Ingestly / リアルタイムウェブ解析 - Qiita
Ingestlyとは ざっくりIngestlyとは 大手企業が取り組むようなウェブ解析を「民主化」 リアルタイムデータを最短でクエリー可能に インフラコスト最小、メンテナンス工数がゼロ コーディング無し、極力自動計測 UXに影響しないモダンなタグ、最速の応答時間 追記1：まずは試してみたい方へ 実装についても書きました。 Ingestly の計測エンドポイントを構成する (Fastly + BigQuery) Ingestly の計測タグをウェブサイトに設置する 追記2：HTTPS化のハードルが下がりました Fastlyが5ドメインまで無償のTLSサービスを開始し、Let's Encryptが発行する証明書が入手・利用できるようになりました。 こんな課題ありませんか？ 課題：リソースの制約 大手企業が発表していた事例を参考にしたいが… - インフラ構築や保守に人を貼り付けるなんて無理 -
BigQueryで150万円溶かした人の顔 - Qiita
※ かなり前の記事ですが、未だに引用されるので一応追記しておきます。タイトルと画像がキャッチーなのはちょっと反省していますが、これを見てBigQuery使うのを躊躇している人は多分あまり内容を読んでいないので気にする必要はないです。自分は当時の会社でも今の会社でも個人でも普通にBigQuery使っていて解析用データなどはBigQueryに入れる設計をよくしています。また、アドベントカレンダーだったのでネタっぽく書きましたが事前に想定できる金額です。 ※ 代役：プロ生ちゃん（暮井 慧） 巷のBigQueryの噂と言えば「とにかく安い」「数億行フルスキャンしても早い」などなど。とりわけ料金に関しては保存しておくだけであれば無視できるほど安く、SQLに不慣れなプロデューサーがクエリを実行しても月数ドルで済むなど、賞賛すべき事例は枚挙に暇がありません。 しかし、使い方によってはかなり大きな金額を使
Fluentd + BigQuery による Tweet データ収集 - Qiita
はじめに 今回は、Twitter Streaming API で得られる全ツイート中の 1% の 日本語 Tweet のデータをログとして収集し、 Fluentd を用いて、BigQuery に格納するシステムを構築する。 以下に BigQuery と Fluentd を説明を記載する。 BigQuery とは Google BigQuery とは、クラウド上で動作するデータウェアハウス。 以下の様な特徴を持っている。 テラバイト級のデータに対しても、高速に集計が可能。 ストレージ料金が安い (容量あたりの保存単価だとAWS S3 よりも安価) データのインポートが容易 (バルクアップロード / ストリーム)。 細かい話は次のリンクを参照。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja ありとあらゆるログデータを格納する先とし
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Rack middleware for logging all rails request
