GitHub - tamtam180/apache_log_gen: generate dummy apache log.You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Apacheのサンプルログを生成し続けるスクリプトをRubyGemsに登録してみた
Apacheのサンプルログを生成し続けるスクリプトをRubyGemsに登録してみた こちらの記事で書いた、Apacheのログを生成し続けるスクリプトをRubyGemsに登録してみました。 なので、今後は gem install apache-loggen とインストールするだけで、 apache-loggen というコマンドが使えるようになります。使い方は今までと同じです。（以下のような感じです） apache-loggen [--rate=0] [--limit=0] [--rotate=0] [--progress] [--json] [outfile] --rate 毎秒何レコード生成するかの指定。0以下は制限無し。 --limit 最大何件出力するか。0以下は延々と出力し続ける。 --rotate ローテーションの間隔。単位は秒指定。0以下はローテーションしない。 --progre
StatHat
Beautiful charts StatHat makes detailed time series charts of your stats. Compare multiple stats from the past hour to the past 10 years. 30-day forecasts Know where your stats are headed. StatHat will analyze all your data and create forecasts for you with estimates for the next 30 days. Easy to integrate It's a piece of cake to integrate StatHat into your applications. It only takes one line of
Fluentdの出力結果をStatHatで可視化する - aptheia.info
Fluentdで取得した情報を可視化したいとき、fluent-plugin-growthforecastを使ってGrowthForecastにグラフを作る方法がよく知られている。GrowthForecastはインストール後すぐに使い始められるお手軽ツールなんだけど、それすら面倒くさい、自前で環境を作るのが面倒、というときにはStatHatを使うと簡単に可視化を実現できるという話。 StatHatはシンプルなインターフェースで必要十分な機能があり、しかも無料で使えるというサービス。HTTPでデータを登録するだけできれいなグラフが簡単に生成できるので、幅広い用途で利用できる。 以降、FluentdとStatHatを組み合わせて利用するための設定を説明する。 作業 StathatのSign upにアクセスしてメールアドレスを登録し、折り返し届くメール内のURLからパスワードを登録すればすぐ使い始
dstatの結果をfluentdで取得して、WebSocketで送りつけるリアルタイムリソース監視アプリを作ってみた。 - from scratch
Tuppari公開記念Hackathonで作ろうとした奴を作ってみました。 ごめんなさい、micro instanceなのでアクセス過多で動かない時があるかもしれません、ちょっと調整中です。 リアルタイムリソース監視アプリ yosuke-furukawa/dstatwatcher · GitHub WebSocketを使ってリアルタイムにリソース監視したりログ監視したりするのは正直よくあるやつなのですが、fluentd使ってみたかったというのと、highchartを本業の方で使おうか迷った挙句、使えなかった経緯があったので、使ってみようと思って作成してみました。 大体、↓の感じの流れでやってます。 Fluentdとdstatのつなぎの部分にはfluent-plugin-dstatを使用しています。 shun0102/fluent-plugin-dstat · GitHub これを使うと、d
fluentd+MongoDBでApacheログ | facom222::blog
準備 MongoDBのプラグインをインストール /usr/lib/fluent/ruby/bin/fluent-gem install fluent-plugin-mongo Apacheのアクセスログをfluentdを使ってMongoDBに入れる まず、設定ファイルを編集 $sudo nano /etc/td-agent/td-agent.conf <source> type tail format apache path /home/facom222/logs/access.log tag mongo.apache </source> <match mongo.**> type copy <store> type file path /var/log/td-agent/access.log </store> <store> type mongo host localhost datab
fluentd+MongoDBで集めたApacheログの検索システムをRailsで試作
Apacheのアクセスログをfluentdで集めてきてMongoDBに突っ込んで、Webで検索するシステムの試作品を作ったので、作業ログを残す。 WebにはRuby on Railsを使うことにした。 Ruby on Railsのインストール手順は、本Postでは省略。 前提と仕様 今回はテスト用のため、fluentdで集めるのは同一サーバ上のApacheのアクセスログのみ。 環境はCentOS 5.5。 とりあえず、検索条件としてクライアントIPアドレスと期間を指定できるようにしてみる。検索条件の入力省略も許容する。 クライアントIPアドレスには正規表現を使えるようにする。 fluentdとMongoDBのインストール インターネットに自由に出られない環境へのインストールを見据え、yumは使わない。 MongoDBのRPMはhttp://downloads-distro.mongodb.
Fluentdで始めるリアルタイムでのログ有効活用
はじめに Fluentdは、ログを収集し格納するためのログ収集基盤ソフトウェアです。Fluentdにインプットされた、すべてのログをJSONに変換し、アウトプットします。インプットとアウトプットはモジュール化されており、モジュールを追加することでインプット元とアウトプット先を追加できるようになっています。 Fluentdは急速に知名度を高め、多くのWebサービス会社で実際に使用されるようになりました。従来のログが抱えていた問題も、Fluentdが適切な解決策となっていると認知され、かつ簡単に導入・スモールスタートできるミドルウェアであったことが大きかったと思います。 本稿では、Fluentdの簡単な仕組みと導入方法、シンプルな動作事例について紹介します。 対象読者 システム管理者 データサイエンティスト 必要な環境 UNIX系OS Ruby 1.9 ログを出力する理由 システム運用を始める
CentOSでNginxのログをFluentdを使ってMongodbにリアルタイムで格納する - Y's note
ハイパフォーマンスHTTPサーバ Nginx入門 作者: Clement Nedelcu,長尾高弘出版社/メーカー: アスキー・メディアワークス発売日: 2011/04/21メディア: 大型本購入: 2人 クリック: 714回この商品を含むブログ (23件) を見る このエントリーで試したいこと Nginxのログをfluentdを使ってMongoDBに格納することをリアルタイムで行うことを試してみたいと思います。参考にしたサイトは以下のものです。 fluentd Fluentdのドキュメントへようこそ ― fluentd 0.10 documentation Fluentdで始めるリアルタイムでのログ有効活用 （1/4）：CodeZine Introduction of ‘fluentd’ « NAVER Engineers' Blog fluentd を利用した大規模ウェブサービスのロギ
開発メモ#6 : ログの取り扱い : GrowthForecast, Amazon S3, Treasure Data で心労ゼロ - naoyaのはてなダイアリー
開発メモ#6 です。前回から少し間があいてしまいました。 開発メモ#2 : AWS でのホスト / クラウドネイティブなデプロイ - naoyaのはてなダイアリー で書いたように、EC2 へのアプリケーションのデプロイにあたっては Elastic IP の利点を活かしてカジュアルにホストを入れ替えまくっています。ちょっとこのデプロイは慎重になりたいな、と思ったらスナップショットからインスタンスを立ち上げては切り替える、の繰り返し。 この運用をしていると、スナップショットとの差分ができやすいのは chef-solo で吸収するというのが前回、前々回のはなし。 もう一点問題があります。アクセスログやアプリケーションのログです。フロントエンドのサーバをあっちこっち切り替えているうちに、そのままではログが分断されてしまう。ホストを Terminate しようものならログは消失してしまいます。 この
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
apache-loggen | RubyGems.org | your community gem host
logstalgia を使ってログを可視化 - aptheia.info
StatHat - Examples
StatHat - File sizes
StatHat - Track twitter stats
StatHat - FAQ
StatHat - Sign in
GitHub - f440/fluent-plugin-stathat: StatHat output plugin for Fluentd.
Store Apache Logs into MongoDB | Fluentd
MongoDB Output Plugin | Fluentd