fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
fluentdとfluent-plugin-pghstoreとpandorafmsでログ収集、可視化、監視を行う - そこはかとなく書くよ。
前回の記事で報告したように、fluent-plugin-pghstoreでログをPostgreSQLに貯めることができました。 次は可視化と監視を行います。ここで、最近使ってみているPandora FMSを使います。 pluginを準備 まずは以下のスクリプトを保存し、pandora/etc/pandora/plugins以下に置きます。DBやTABLEは適宜書き換えてください。また、hostnameやportも適宜変更でお願いします。 上の方にあるSQLは過去5分間のcodeが2XXや3XXなどの割合を出してくれます。その後、PandraFMSでのplugin形式のXMLにするように整形します。 ちなみに、一つのSQLで複数を同時にcount()する方法については 複数同時にcount() をどうぞ。 #!/usr/bin/env sh DB=logdb TABLE=apache_log
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
【作業メモ】Apacheログをfluentd+MongoDBで収集しRubyで集計してみたが… - FAT47の底辺インフラ議事録
ものすごく流行の波に乗り遅れた感がありますがfluentd入れてみました。 fluentdとは 作者の古橋さんのブログから引用 http://d.hatena.ne.jp/viver/20110929/p1 - fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 - ログを素敵な感じで別サーバに転送、集約することが可能です。 ログはJSON形式で構造化されているのでログデータが利用しやすいのも特徴です。 手順 ※前提としてapacheが稼働済みであるとします fluentdインストール yumでさくっと vim /etc/yum.re
イベントログ収集ツール fluent リリース！ - Blog by Sadayuki Furuhashi
こんにちは。Treasure Data の古橋です^^; 先日の Treasure Data, Inc. 壮行会 で、イベントログ収集ツール fluent をリリースしました！ Fluent event collector fluent は syslogd のようなツールで、イベントログの転送や集約をするためのコンパクトなツールです。 ただ syslogd とは異なり、ログメッセージに テキストではなく JSON オブジェクト を使います。また プラグインアーキテクチャ を採用しており、ログの入力元や出力先を簡単に追加できます。 Twitterでも話題沸騰中です：イベントログ収集ツール #fluent 周りの最近の話題 背景 「ログの解析」は、Webサービスの品質向上のために非常に重要です。Apacheのアクセスログだけに限らず、アプリケーションからユーザの性別や年齢などの詳しい情報を集め
Eclipseのエラーログの確認方法 - Masa / Lino Blog
Eclipseが起動しなくなったり、停止した場合はエラーログを見たくなるものだと思います。 Eclipseのログは2つのパターンで確認方法が違います。 ワークスペース指定後の場合 Eclipseを起動するときにワークスペースを指定しますが、指定後の場合は以下に出力されます。 ECLIPSE_HOME\workspace\.metadata\.log Eclipse自体のログやプラグインのログが出ています。 使っているときにEclipseが落ちたら、ここを見れば大体分かります。 OutOfMemoryErrorとかがよく書いていますね。 ワークスペース指定前の場合 Eclipseをコマンドラインから"eclipsec.exe"を起動してログを確認します。どうやらWindowsにしかないようです。 > eclipsec.exe eclipse.iniの編集ミスやプラグインを追加して起動しなくな
ジェミナイ、分散KVS「Cassandra」を使ったリアルタイムログ解析システムをOSS化
ジェミナイ・モバイル・テクノロジーズは2011年3月3日、リアルタイムログ解析システム「Flume-Cassandra Log Processor」をオープンソースソフトウエア（OSS）として公開した（配布サイト）。大量のシステムログを瞬時に分析して、グラフィカルなレポートを作成できる。ログ保存には、OSSの分散キー・バリュー型データストア（KVS）「Cassandra」を使用する。 Flume-Cassandra Log Processorでは、監視対象のサーバーで発生したイベントのログを、1秒以内にストレージであるCassandraに保存する。Cassandraは書き込みが高速な分散KVSで、サーバーの台数に比例して、ストレージ容量とI/Oを拡張できる。そのため、クラスターのサーバー台数を増やすことで、数百Tバイトのログの格納が可能になるとしている。ログの分析機能やレポート作成機能のほ
全ては時の中に… : 【VB.NET】log4netを利用してログ出力する（其の壱）
2007/11/280:30 【VB.NET】log4netを利用してログ出力する（其の壱） プログラムのトレースを行う場合、以下の方法を取ることが多い。 ・メッセージボックスを使って確認する。 ・デバッグウィンドウに情報を出力する。 これらの方法を使った場合、 ・リリース時にコメントアウトする。 ・プリコンパイラの機能を使ってDEBUGモードのみ有効にする 等の対処を取る必要がある。 ロギングライブラリのlog4netを利用すると簡単にログ出力できるようになるので、この利用方法について説明する。 【log4netの入手方法】 1.Apache log4netにアクセスする。 2.画面左側にある「Getlog4net」の「Download」をクリックする。 3.Mirrorsの欄にある「incubating-log4net-1.x.x.zip」をクリックする。 ※x.xの部分は、公開されて
ウノウラボ Unoh Labs: PHPによるテキストファイルへのロギング
yamaokaです。 PHPでwebアプリケーションを作成するとき、 皆さんはロギング（ログの出力）をどうされているでしょうか。 今回は、テキストファイルへロギングする方法をいくつか紹介したいと思います。 error_log関数 syslog関数 PEAR::Log log4php Zend_Log error_log関数 PHPでは、標準の関数として error_log関数が用意されています。 使い方はとてもシンプルです。2番目の引数に「3」を指定することで、 テキストファイルにログを出力することができます。 error_log('message', 3, '/var/tmp/app.log'); syslog関数 また、syslog関数も 標準で用意されている関数です。syslog経由でテキストファイルにログを出力することができます。Windowsの場合は、イベントログでエミュレートさ
リアルタイムにログファイルを監視できるEclipseプラグイン「Logfile Viewer」：CodeZine
「Logfile Viewer」は、サーバログなどをリアルタイムで監視できるEclipseプラグインだ。18日に最新版の1.4.1がリリースされた。対応Eclipseバージョンは3.1.2、3.2、3.2.2となっている。 「Logfile Viewer」は、Eclipseアップデート機能に以下のURLを追加することで、無償でインストールできる。 http://www.mimo.ch/update インストールに成功すると、ビューの一覧（ウインドウ → ビューの表示 → その他）に「Log File View」が追加され、これを選択することでビューワーが表示される。あとはアイコンの中にある「Open Log File」を選択するだけで、リアルタイムにログを監視できるようになる。
Log Parserの概要 ― ＠IT
ログは管理者の味方であり、悩みのタネでもある。無償ながら強力なツール、Log Parserでログを自在に操ろう。 連載目次 英語の“log”は「運行記録」などの意味があり、情報システム管理におけるログは、さまざまなハードウェアやソフトウェアの「運行記録」を刻々と記録したデータである。システム管理者にとって、ログは複雑な存在だ。あるときはトラブルシュートの主役としてピンチを救ってくれる頼もしい相棒だが、日々作成されるログはさながら悪夢をもたらす洪水であり、作成されたログ・ファイルは物置のスペースを着々と占拠し続ける厄介者である。 システム管理者であれば、トラブル発生時に一度は耳にしたことがあるのではないだろうか。「そんなこと、ログ見れば分かるでしょ」。これは事実ではあるが、ある意味管理者にとっては屈辱的な言葉かもしれない。コンピュータが文字どおり機械的に吐き出し続ける膨大なログから必要な情報
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
samuraiengine.com
ビルドのコマンドとプロパティのマクロ