カスタマイズ済みのApacheログ書式もパースする Apache::Log::Parser の話 - たごもりすメモ
さて、Perlといえばテキスト処理、テキスト処理といえばPerlですね。そしてこのビッグでデータな現代においてテキスト処理といえばログの処理に決まっています。 ログの処理といってもいろいろですが、もちろん強く逞しく生きる現代っ子の我々は以下のようなログを扱います。 Apacheのログ Apacheのログなんだけどいくつかの書式が混ざってたりする combined に当然いろいろデータが足してある LTSVってなんですか？ そのような素敵な問題を解決するためのモジュールがCPANにあります。Apache::Log::Parserです。 あっ、そのページはダメ、こっち、こっちな。 Apache::Log::Parser Apache::Log::Parserは内部に2種類の解析器を備えており、パーサを初期化するときにどちらかを選びます。それぞれ以下のように動作します。 fast mode Ap
regexp - で Apache Combined Log を Parse する : 404 Blog Not Found
2013年02月09日22:30 カテゴリTipsLightweight Languages regexp - で Apache Combined Log を Parse する けだし同感。 ましてや Apache Combined Log を LTSV に を書いた後では。 combined2ltsv.plの最初のバージョンのparserはこうなっていました。 sub parse_line_ng { my $line = shift; my %rec; ( $rec{host}, $rec{ident}, $rec{user}, $line ) = split ' ', $line, 4; $line =~ s/^(\[.*?\]) //; $rec{time} = $1; $line =~ s/^\"(.*?)\" //; $rec{req} = $1; ( $rec{status},
ログの任意のキーワードに好きな色をつける - Cside::Weblog
Apacheログに色を付けて快適tail生活 - y-kawazの日記 というのがあるけれど、 [31m とかで色を指定するのあまり人間が読める感じがしないので、もっと簡単に定義できるやつ作った。https://gist.github.com/2929372こんな感じにキーワードと色を定義できる。 ' (200) ' => 'green', ' (5\d{1}) ' => 'red', ' (404) ' => 'red on_yellow', こんなふうに、tail とか cat とかにパイプでひっかけて使う。 $ tail -f access_log | perl colorize.pl $ plackup app.psgi 2>&1 | perl colorize.pl
ApacheBenchを使いたいけどApacheを入れるのがだるかったのでベンチマークツール書いた - 時計を壊せ
なんでこんな事をしたんですか？*1 昨日、コンソール開いたんです。コンソール。 そしたらなんかabコマンド打ってもApacheBench使えないんです。 で、よく見たらなんかApacheが入ってなくて、"command not found: ab"とか書いてあるんです。 もうね、アホかと。馬鹿かと。 お前らな、ApacheBench如きで普段使ってないApache入れるかよ、ボケが。 Apacheだよ、Apache。 なんか沢山モジュールとかも付いてるし。1台何役だよ。おめでてーな。 よーしついでだからこれもこれも使うといいぞー、とか言って色々いれてくるの。もう見てらんない。 お前な、ApacheBenchだけよこしてさっさと消えろと。 サーバーってのはな、もっと殺伐としてるべきなんだよ。 ネットワーク越しのイカれた奴といつ喧嘩が始まってもおかしくない、 落ちるか落ちないか、そんな雰囲気が
Apacheログパーサを書いた - たごもりすメモ
ApacheのログをparseしたいがCPANを見てみるとなんかぴったりなのがない。"Apache Log" で検索した限り、LoggerはいっぱいあるんだけどParserがビミョー。なぜ。見付かったのは以下ふたつのみ。 Apache::ParseLog - search.cpan.org ファイルを全部読み込んで集計までやってくれるらしい、が、そんなのいらない そもそもログ行に対して動作するというよりApacheの設定ごと処理するようなもので、モジュールというか解析プログラムの様相 ApacheLog::Parser - search.cpan.org combined 形式のみにマッチする 独自書式どころか common とか %D つきとかでも失敗するのが悲しい 特に高速ということもない Parse::AccessLogEntry - search.cpan.org (そういえば試し
Test::Apache::RewriteRules で mod_rewrite のテストを書こう - 大西日記 - はてなダイアリー
YAPC::Asia Tokyo 2010 で LT してきました。以下はその資料(に少し説明を追加したもの)です。 mod_rewrite 正規表現によるURL書き換えモジュール スイス製アーミーナイフ / 黒魔術 まだ Apache 使ってますよね? reverse proxy とか… はてなの mod_rewrite 活用事例 ほぼ reverse proxy URLにより用途別のbackendに振り分ける 用途によりbackendを分けリソース効率化 特定のアクセスをキャッシュサーバーに振る URL加工 Squidにキャッシュさせたいが同一URLで異なるコンテンツを返す場合がある →クエリに情報を付加する BAN! 便利な半面… 増える! $ cat jp.www.proxy.apache.conf | grep Rewrite | wc -l 179 テストしづらい! → 一行加
ApacheログをDBに保存するperlスクリプト
Apache Logを解析するためにMySQLに保存したいなーと思ったのでスクリプトを書いてみた。 DBIを利用するのが初めて、perlの理解もいまいちだったので苦労した・・ 携帯サイト用なので一応uidも考慮。docomoのuidはパラメータしか取得できないのでちょっと面倒。 テーブルはこんな感じ。とりあえずつくったので、けっこう適当です。 ====== CREATE TABLE `ap_log` ( `id` int(11) NOT NULL auto_increment, `lb` varchar(10) default NULL, `a_datetime` datetime default NULL, `remote_host` varchar(256) default NULL, `remote_user` varchar(256) default NULL, `x_docomo
アオイロノヒビ: WindowsXPでCGIを#!usr/bin/perlで使えるようにしてみた。
ローカルの Windows XP で CGI を使用するのに ActivePerl をインストールしたのですが、インストール先を D:/Perl/ にしてしまいました。 この場合、CGI ファイルの一番上の行に記述する Perl のパスは、#!/perl/bin/perl [※1] となります。 しかし、CGI ファイルに記述されている Perl のパスの多くは、#!/usr/bin/perl か #!/usr/local/bin/perl なので、いちいち書き直さなければならない。 そのくらい書き直せよって言われたらそれまでなのだけど……モニョモニョ。 例えば、ローカルで CGI のテストを行った後に、別の Linux サーバで動作させる、なんていう時は、やっぱり結構手間だったりします。 もう１度 D:/usr/ にインストールし直すという手もあるのだけど、それも何だか面倒……なんていう
mod_speedycgi2 on Apache 2.2 - daily dayflower
SpeedyCGI を使ってみようと思って cpan install CGI::SpeedyCGI したら，怒られました。のであれこれ調べてなんとか動くパッチを作ってみました。 原因は Apache 2.2 (APR-1.2) になって， APR_BRIGADE_FOREACH() というマクロが deprecated になった（参考） apr_filename_of_pathname という関数が apr_filepath_name_get になった（CHANGES-APR-1.2） という非互換性があるためでした。 でも CGI::SpeedyCGI は Perl 5.8.6 以降ではメモリリークする（RT#13521）罠。がーん。speedycgi with Perl 5.8.6 のメモリリークをなおした - daily dayflower 参照 以下，パッチです。 --- mod_
エラーはエラーと返すべき : blog.nomadscafe.jp
エラーはエラーと返すべき まとめると、実運用ではCGI::CarpのfatalsToBrowserを使わないという話。社内向け フツーのCGIで、 #!/usr/bin/perl use strict; use CGI::Carp qw(fatalsToBrowser);#fatalsToBrowserを利用 use CGI; my $q = CGI->new; die "Bad error here"; print $q->header; print "test"; というものを書いて、実行するともちろんdieをする。そして画面には以下のHTMLが出力される。 <h1>Software error:</h1> <pre>Bad error here at /var/www/html/test/carp_fatal.cgi line 9.</pre> <p> For help, pleas
Apache Combined Log を効率的にパースする正規表現メモ, Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05), Apache Combied Log を解析する CPAN .. - [ぴ](2007-09-07)
_ [システム運用][Perl] Apache Combined Log を効率的にパースする正規表現メモ ググるとよく見つかるのははてな - Apache形式のログを解析する正規表現を教えてください (Geekなぺーじ : アクセスログの読み方（apache combined logの場合）) の ($host, $ident, $user, $time, $request, $status, $bytes, $referer, $agent) = ($line =~ /^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"/); だが、最長一致の .* が多数登場するためか、マッチ処理がとても遅い。たった10万行パースするのに Core2 使って23.7秒ってあり得なくね? できるだけ最短一致でマッチさせるように ($host,
](https://cdn-ak-scissors.b.st-hatena.com/image/square/d228e8be070c32c738781e15c25aeb18f4dc6807/height=288;version=1;width=512/https%3A%2F%2Fpmakino.jp%2Ftdiary%2Ftheme%2Fogimage.png)
（高速に）Apache の log を解析する正規表現（追記あり） : a++ My RSS 管理人ブログ
※(多分)最終バージョンはこちらです。 ⇒[ぴ] - Apache Combined Log を効率的にパースする正規表現メモ , Apache Combined Log 解析正規表現ベンチマークの補足 (2007/10/05) ※ベンチマークありがとうございました。 ネタ的には既出なんですが・・・ Ref: [ぴ] - Apache Combined Log を効率的にパースする正規表現メモ グーグル先生でよく教えてもらえる正規表現というのがありまして、 !^(.*) (.*) (.*) \[(.*)\] "(.*)" (.*) (.*) "(.*)" "(.*)"! これ、使ってみると 1万行解析するのに 7.617 秒かかりました。ありえない。（Let's note T5 / CentOS） で、バックトラックかからないよう、例えばこんな感じに適当に変更： !^([^\s]*) [^
Catalystとmod_perlでapacheのアクセスログにユーザを記録する | あぁ そうだった
ひさしぶりにwebアプリを書くことになり、既存のフレームワークを利用することにした。 Rails周辺の喧騒はなんとなく気にしていて興味はあったのだけど、rubyを最後に触ったのが5年前で、今回はより慣れているperlでいくことに。 「まるごとperl」でフレームワークの特集記事があって、Catalyst・Sledge・Jiftyが紹介されていた。Jiftyのポニーの由来とDB上のスキーマありき「ではない」ところにすごく惹かれたけど、今回はあまり七転八倒する時間的猶予がなく、web上の日本語情報が多そうなCatalyst＋mod_perlに決めた。 フレームワークというのはなんだかんだでフレームワーク自身の内部的な動きも含めて理解しないと、ホントに便利にはならないものだと再認識。 特にプラグインをパイプ的にチェーンするフレームワークでは。 フレームワーク固有というよりはutf8フラグ絡みなん
ブラウザキャッシュの挙動を見てみる - 日向夏特殊応援部隊
改めて勉強したかったので、こんなテストしてみました。 Apacheの設定とテスト内容 <VirtualHost *:80> ServerAdmin zigorou@localhost DocumentRoot /home/zigorou/www/cache ServerName cachetest.art-code.org ExpiresDefault "access plus 5 minutes" Alias /test1 /home/zigorou/www/cache/test Alias /test2 /home/zigorou/www/cache/test Alias /test3 /home/zigorou/www/cache/test <Location /test1> FileETag None ExpiresActive Off </Location> <Location
mod_perl で chdir
mod_perl2 (on Apache 2.x)で無理矢理MT（Movable Type）を動かそうとしたり、古いスクリプトをmod_perl2で動かそうとする人たちがいまして。そういうページの中で、mod_perl2はカレントディレクトリをスクリプトのdirに変更しないというのが日本ではなぜか迷信のごとく広まっています。……いやある意味では正しいのですけど。例えばこちらのページでは PerlFixupHandler "sub { \ chdir('/project/sfo/www/www.sfo.jp/lib/mt'); \ return OK; \ }" PerlResponseHandler ModPerl::Registry とやって明示的に chdir しています（別にやり玉に挙げているわけではなくて、どこのサイトを見てもおよそこんな感じです）。そもそもなぜ、ModPerl::
[ThinkIT] 第1回：5分でわかるXAMPPの魅力 (1/3)
最近、Webアプリケーションシステムを構築する際に「LAMPで行う」という話をよく耳にします。LAMPはWebアプリケーション構築の際に容易に導入を進められることから、大企業でも盛んに用いられるようになってきました。 LAMPとは「Linux」「Apache」「MySQL」「PHP/Perl/Python」の頭文字をつなげたものです。日本ではWebアプリケーションというとまだまだJavaが主流ですが、世界を見渡すとオープンソースなWebアプリケーションは、ほぼLAMPが独占しているといっても過言ではありません。 フリーコマースの「osCommerce」やポータルサイトの「Xoops」をはじめとして、SFAやEIP、CMS、ERPなど、ほとんどのアプリケーションがLAMP上で動作することを前提として作られています。極端な言い方になりますが、企業の必要なアプリケーションのすべてをLAMPで運用
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Apache::LogFormat::Compiler YAPC::Asia 2013 Tokyo LT-Thon
はてなブログ | 無料ブログを作成しよう
https://www.qunea.com/blog/log/20080826-1857.html
みつかませんか? 外に出て遊びましょう! ＠びんたん