RailsのログをfluentdでBigQuery、あるいはS3に取り込む - kotaroito's notes
GCP BigQueryやAWS Athenaを実際に触る機会が欲しかったので、RailsのログをfluentdでBigQueryやS3に取り込んでみます。 とりあえず触ることが目的で、実用できるかはとりあえず脇においておきます。 なお、fluentd（td-agent）はOS Xに0.14.21 をインストールしています。 Rails fluent logger Railsのログはデフォルトでは log ディレクトリに出力されるため、これをfluentdで扱えるようにする必要があります。 ドキュメント Collecting and Analyzing Ruby on Rails Logs | Fluentd に従って、lograge と act-fluent-logger-rails を使ってみます。 ほぼドキュメント通りですが、以下のように設定しました。 config/applicat
#fluentd のためのプラグインをイチから書く手順(bundler版) - tagomorisのメモ置き場
前に自分で書いた fluentdのためのプラグインをイチから書く手順 - tagomorisのメモ置き場 はたいへん重宝していたのだが、書いたすこし後になって実は現在すでに bundle gem コマンドを使うやりかたが良さそうだということがわかってしまったがばたばたしてて移行してなかった。 で、またひとつプラグインを書くことにしたのでついでに bundle を使った手順をざっくりまとめておく。以下のエントリをたいへん参考にさせてもらった。 T-POINTを取得するスクリプトをGistから移動, Bundlerを使ったGem作成メモ (自分用) - ただのにっき(2012-02-18) 準備とディレクトリツリーの作成 bundler は必要なので、なにはなくとも入れておこう。 gem install bundler そしてプラグイン用ディレクトリツリーを作成する。今回は DataCount
Kibana 3 + Rails + Fluentdのサンプルアプリを作ってみた - y_310's diary
miyagawaさんのPodcast Rebuild: 19でKibanaの話があってちょっと盛り上がり始めてるので、簡単に動作を試せるサンプルアプリセットを作ってみました。 https://github.com/y310/kibana-trial git cloneしてREADMEに書いてある手順を実行していくと大体動くと思います。 railsからfluentdにログを送る部分は、こんな感じでrack middlewareを使って送ります。 # application_controller.rb class ApplicationController < ActionController::Base around_filter :collect_metrics def collect_metrics yield # ensureを使うのは例外時のログも捕捉するため ensure # co
MOGOKのログシステム - Fluentdによるログ収集 - | もごろぐ
はじめまして。MOGOK 開発メンバの崎山と申します。 このブログでは、MOGOK システム内部で利用してる技術を中心に書いていく予定です。 初回となる今回は、MOGOK のログシステムについてのご紹介になります。 MOGOK で提供しているログの詳細については、 杉本の記事「MOGOKのログについて」 に記述されておりますので、ぜひこちらもご覧ください。 ログの収集 MOGOK では現在、アクセスログ、アプリケーションログ、ビルドログの3種類のログを提供しております。 それぞれのログは別々のサーバに出力されていますが、ログがそれぞれのサーバに分散して蓄積されているとログの管理が複雑になるためログシステムでログを集約し、一元管理しています。 この図は mogok.jp のサイトで紹介しております「MOGOK のアーキテクチャ」の図に、 ログシステムを追記したものです。 図のように、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
CRubyプロダクトにおけるembulkの活用法
