ログの収集基盤をサーバレス化した話
初めまして、エンジニアの鴛海太一です。 主にデータ分析や、その基盤ツールを作るチームに所属しています。 今回は、アプリトラッキングツールから送られてくるログをBigQueryに入れるための機構をサーバレス化した話になります。 サーバレス化の目的と以前の構成 以前の構成は以下のようなものでした。 この構成は、安定して1年ほど稼動していましたが、kubernetesの知識が必要で、メンテナンスがしにくいことが欠点でした。 サーバレス化 そこで、以下の図の様なマネージドサービスを使ったサーバレスアーキテクチャを構築しました。 概要 まず、Google Cloud Functionsはコールバックを受け取り、Google Pub/Subにpublishします。 その際に、標準出力でログを出しておき、それをGoogle Stackdriverで拾い、1時間おきにGoogle Cloud Storag
Google Cloud Functions [Alpha] を使って GCP の課金データを BigQuery に投入してみた - Qiita
Google Cloud Functions [Alpha] を使って GCP の課金データを BigQuery に投入してみたGoogleBigQueryGoogleCloudFunctionsgooglecloud こんにちは。Google I/O 2016 の開催が近づきワクワクしている wezardnet です。 さて、今回はアルファ版で公開された Google Cloud Functions を使って Google Cloud Platform（以下GCP） の課金データを BigQuery に入れる仕組みをサンプルとして作ってみたので紹介したいと思います。 1. Cloud Functions ってなに？ Cloud Functions では、クラウド環境でイベントが発生したときに実行される Node.js を書くことができ、巷では「サーバレスアーキテクチャ」とか呼ばれているそ
![Google Cloud Functions [Alpha] を使って GCP の課金データを BigQuery に投入してみた - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/950e4480bac9ec96f39ec7883e09b5277db110b7/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9R29vZ2xlJTIwQ2xvdWQlMjBGdW5jdGlvbnMlMjAlNUJBbHBoYSU1RCUyMCVFMyU4MiU5MiVFNCVCRCVCRiVFMyU4MSVBMyVFMyU4MSVBNiUyMEdDUCUyMCVFMyU4MSVBRSVFOCVBQSVCMiVFOSU4NyU5MSVFMyU4MyU4NyVFMyU4MyVCQyVFMyU4MiVCRiVFMyU4MiU5MiUyMEJpZ1F1ZXJ5JTIwJUUzJTgxJUFCJUU2JThBJTk1JUU1JTg1JUE1JUUzJTgxJTk3JUUzJTgxJUE2JUUzJTgxJUJGJUUzJTgxJTlGJnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9NTYmdHh0LWNsaXA9ZWxsaXBzaXMmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03OWYxNzllNjk2MDIyNjA1MjgxNTM3NTU5ZWZjMGRkZA%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwd2V6YXJkbmV0JnR4dC1jb2xvcj0lMjMyMTIxMjEmdHh0LWZvbnQ9SGlyYWdpbm8lMjBTYW5zJTIwVzYmdHh0LXNpemU9MzYmdHh0LWFsaWduPWxlZnQlMkN0b3Amcz03OTZjZGIxODI3ZGI0ZTExODE4MTM3ZGNlODk3YWE3Ng%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D07f6eb4bd65a97b5718dc90772f5e790)
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
