LTSV FAQ - LTSV って何? どういうところが良いの? - naoyaのはてなダイアリー
LTSV って何? Labeled Tab-Separated Values という、テキストのフォーマットの仕様です。CSV や TSV や JSON そのほかと同じ、テキストデータのフォーマット名。主にログ、特に httpd のアクセスログなどに適用すると便利です。 仕様は http://ltsv.org にまとまっています。随時更新中です。 LTSV は単なるログのフォーマットであって、それ以上でもそれ以下でもありません。 LTSV ってタブ区切りで値に名前を付けただけのもの? はい、そうです。 これが 127.0.0.1 - frank [10/Oct/2000:13:55:36 -0700] "GET /apache_pb.gif HTTP/1.0" 200 2326 "http://www.example.com/start.html" "Mozilla/4.08 [en] (
Labeled Tab-separated Values (LTSV)
Description Labeled Tab-separated Values (LTSV) format is a variant of Tab-separated Values (TSV). Each record in a LTSV file is represented as a single line. Each field is separated by TAB and has a label and a value. The label and the value have been separated by ':'. With the LTSV format, you can parse each line by spliting with TAB (like original TSV format) easily, and extend any fields with
Scribeを使ってアクセスログを集約する - スコトプリゴニエフスク通信
Webサーバーが複数台ある時、そいつらからアクセスログを集めてきてアクセス解析を行いたい時、2010年にもなってlogrotateをかけた後にrsyncするのかなぁと思ってしまうわけです。そういう用途にはFacebookで鍛え上げられたScribeが一番いいと分かっていながら、インストールが非常に面倒なので躊躇していました。./configure && make installでインストールするのも面倒ならば、RPMを作るのはさらに面倒。(Thriftはまだ何とかなるが、fb303、Scribeは本当に面倒)しかし、偉大な先人はすでにいるものです。「scribe centos」とかでググってCentOS用のSRPMを作っている人を見つけました。http://www.silassewell.com/blog/2009/05/07/scribe-scalable-real-time-log-a
1秒で10万行を処理するフリーの超高速なログ解析ソフト「Visitors」 - GIGAZINE
GIGAZINEのログは膨大な量になっているため、以前まで使っていた「ApacheLogViewer」では毎日のアクセス解析に時間がかかりすぎるのと、今後のさらなるログの増大を考えると不安を覚えたので、いろいろと試してみた結果、「Visitors」というアクセスログ解析ソフトが超高速でよかったです。 大体、10万行を1秒～2秒ほどで処理してくれます。しかもサイトへの人の流れをフローチャート化することも可能。ユニークユーザーベースで解析してくれるだけでなく、検索ボットは除外したり、特定のリファラをブラックリストにしてノーカウントすることも可能。非常にすばらしいです。 また、Linux版だけでなく、Windows版も一応提供されています。やろうと思えばWindowsで解析することも可能です。 というわけで、実際にインストールして実運用するまでの手順をメモしておきます。参考になれば幸い。 ■解析
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
