ApacheのアクセスログをMessagePack形式で出力するためのモジュールを作りました : DSAS開発者の部屋
Apacheモジュールのログ出力、こんどはMessagePack版を作成しました。続いてはこちらをご紹介します。 Apacheのアクセスログを使い、ユーザアクセスの集計やパターン解析などというのは一般にどこでもやられていることだと思います。通常のアクセスログはテキストファイルなので、集計を行うためにスクリプト上で扱える変数・オブジェクト化が必要になりますね。1行ごとの各ログ項目を取り出すのに正規表現を使ったり、cutやawkなどを使い空白で分割するなど、色々工夫されていることと思います。 今回、MessagePack版のアクセスログ出力をやってみようと思い立ったのは、アクセスログをあらかじめ構造化済みの状態で保存しておければ、読み込みの際の解析する手間を省くことで解析処理の高速化が期待できるのではないか、そう考えたためです。MessagePackであれば、PythonやRubyはじめ様々な
Yahoo!ショッピングにおけるログ設計と監視
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、ショッピング事業部開発部の吉野と申します。 今回は「アプリケーションログの設計と監視」について、実際にYahoo!ショッピングで採用している方法を少し交えながらお話しさせていただきます。 1.ログ設計のポイント ログ設計は、以下のポイントに注意して行うとよいでしょう。 ・ログ出力のポイントが押さえられているか ⇒セッションの始まりと終わり、処理の過程、例外処理の中など。 フローチャートのような処理フロー図があれば、そこにログ出力ポイントを書き込むとわかりやすくなります。 ・出力する情報に過不足はないか ⇒「いつ(システム時間)」「だれが(プロセスID・IPアドレスなど)」 「どこで(パスなど)」「なにをした(実行コマン
米Facebook、ログデータ収集サーバー「Scribe」をオープンソースに | OSDN Magazine
米Facebookは10月24日（米国時間）、自社開発のログデータ収集サーバー技術「Scribe」のソースコードを公開した。大量データに対応するよう設計されているという。ライセンスは「Apache Licence 2.0」を採用、SourceForge.netのWebサイトでダウンロードできる。 Scribeは、Facebookが実際に自社インフラで利用しているログ収集システムで、多数のサーバーから寄せられるログデータをリアルタイムに収集する。ユーザー数の拡大に対応するため、自社開発したという。開発にあたり、Facebookがオープンソースとして公開している開発ツール「Thrift」を用いた。PHP、Python、C++、Javaなどのコードからログメッセージを収集できる。 特徴は拡張性と信頼性。クライアント側を変更せずに拡張が可能で、データセンター間でメッセージをやり取りする際のバッチ処
Sun-BigAdmin
Oracle Database runs faster and more efficiently Oracle hardware lets IT teams deploy optimized solutions in customer data centers and easy-to-manage appliances in remote offices and edge environments. Solutions with full-stack integration and optimizations let customers run Oracle Database up to 10X faster with Oracle Exadata’s Smart Scan query offload. Watch NTT DOCOMO’s story (0:48) Easy integr
御社のログ管理体制、見直してみませんか？－ ＠IT
第3回 御社のログ管理体制、見直してみませんか？ 松下 勉 テュフズードジャパン株式会社 マネジメントサービス部 ISMS主任審査員 CISA（公認情報システム監査人） 2007/8/17 ログの持つ意味は大きくなっている ISMS（情報セキュリティマネジメントシステム）およびプライバシーマークを構築するに当たり、情報システムにおけるログ管理を導入する企業が増えてきました。 昨今では、日本版SOX法の法的要求事項を順守するために、従業員が財務諸表に関係する業務においてITを利用した場合に、業務を実施した証拠や改ざんなどの不正な操作が行われなかった証拠として、システムのログ管理も法が求める対策の1つとなっています。 ログ管理において、管理職などの権限のあるユーザーが承認した履歴があることで、従業員の操作が正しく行われたということが実証できます。しかし、上位の管理者の業務の実施状況については、
Log Parserの概要 ― ＠IT
ログは管理者の味方であり、悩みのタネでもある。無償ながら強力なツール、Log Parserでログを自在に操ろう。 連載目次 英語の“log”は「運行記録」などの意味があり、情報システム管理におけるログは、さまざまなハードウェアやソフトウェアの「運行記録」を刻々と記録したデータである。システム管理者にとって、ログは複雑な存在だ。あるときはトラブルシュートの主役としてピンチを救ってくれる頼もしい相棒だが、日々作成されるログはさながら悪夢をもたらす洪水であり、作成されたログ・ファイルは物置のスペースを着々と占拠し続ける厄介者である。 システム管理者であれば、トラブル発生時に一度は耳にしたことがあるのではないだろうか。「そんなこと、ログ見れば分かるでしょ」。これは事実ではあるが、ある意味管理者にとっては屈辱的な言葉かもしれない。コンピュータが文字どおり機械的に吐き出し続ける膨大なログから必要な情報
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
QB
Ywcafe.net