Elastic MapReduceを使って、FluentdでS3上に格納した、Ltsv形式のNginxのアクセスログを解析してみたお話。 - Technofara
今回何故、Elastic MapReduce + S3 + Fluentd + nginxを調査したのか Mysqlとか、analyticsとか、そのほかで色々データは取っていってるのですが、 更に細かく解析するためには、ログレベルでの解析も必要になってくると思い調査し始めたのがきっかけです。 調べてみると、Redshift、Big Query、TreasureDataなど色々あるんですね、 でも今回は、Facebookで流れてきた記事に目がとまったので、まずはとElastic MapReduceの調査をしてみました。 構成としては、Elastic MapReduce + S3 + Fluentd + nginxでやってみます。 Nginxで書きだしたltsv形式のログが、fluentdでS3に転送されています AWS上で準備（Elastic MapReduce Job Flows作成）
nginxでltsv形式のaccess.logを出力する
人間による可読性の良さと、parse処理のしやすさ、１行中の出力内容の順序にたいしてロバスト（項目の順番が変わったり追加されてもparseに失敗することは無い）という点でltsv(Labeled Tab-Separated Value)というファイルフォーマットが一時期流行りました。 もちろん一時の流行ではなく、非常に実用的な手法なので、このたびnginxの出力ログをltsv形式に変えてみました。 ◯設定 naoyaさんのブログ(http://d.hatena.ne.jp/naoya/20130205/1360088927)を引用すると、以下のような形になります。 http { … log_format ltsv 'time:$time_local\t' 'host:$remote_addr\t' 'request:$request\t' 'status:$status\t' 'size:
サーバで動かしているnginxのログをLTSVに変更した | Kitchen Garden Blog @hfm
このブログはさくらVPS上のnginxで動いています。 nginx（エンジンエックス）はApacheと同じWebサーバの一種で、メモリ使用量の少なさ等の特徴から、低スペックなサーバでの安定した動作に定評があります。詳細についてはハイパフォーマンスHTTPサーバ Nginx入門を、実際の導入や動作はこちらのブログ記事が詳しいです。 今回は、nginxのログを標準形式からLTSV形式へと変更しました。ゆくゆくはfluentdとGrowthForecastを導入し、ログを可視化してみようと考えていて、そのためのワンステップという位置づけです。 LTSVなnginxのログ形式 LTSVはLabeled Tab-separated Valuesの略称です。 アクセスログから得られる各パラメータを「label-name:value」と表記し、それらをタブ区切りでつなげるシンプルな構造から、パースの容易
NginxのログをLTSVフォーマットで出力する - i2bsの日記
社内向けのアプリを動かしているNginxのログフォーマットをLTSVに変更したのでメモ。 ログフォーマット追加 vi /usr/local/nginx/conf/nginx.conf user nginx nginx; worker_processes 2; worker_priority 0; worker_rlimit_nofile 8192; error_log logs/error.log notice; pid logs/nginx.pid; events { multi_accept off; worker_connections 1024; use epoll; } http { include mime.types; default_type application/octet-stream; log_format main '$remote_addr - $remote_
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast 去年あたりから急速に知名度をあげている[生ログ収集 → グラフ表示]のツールとしてFluentd + GrowthForecastがあります。 いろいろなblogで紹介されていることからも人気の高さが伺えます。 なぜ、こんなに人気なのかというと、 ログ収集基盤としてFluentd、メトリクス収集とグラフ化のGrowthForecastともに、 コンパクト・扱いやすさ・完成度が高く・いろいろな応用が効きプラガブル・かつ簡単に導入可能といったところが挙げられるでしょう。 今回は、nginxのインストールから始め、MySQL、perlbrew、cpanmといった周辺ミドルウェアのインストール方法も網羅して紹介していきます。 また、ngin
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
