Building Better People: How to give real-time feedback that sticks.
複数台のサーバーやクラウド環境を組み合わせてのサービス運用においては、ログの収集方法に工夫が必要となる。こういった場合に有用なのが、さまざまなログの収集手段を提供するfluentdだ。今回はfluentdのアーキテクチャやそのインストール/設定方法、基礎的な設定例などを紹介する。 さまざまな方法でログを収集できるfluentd 今回紹介するfluentdは、Treasure Dataが開発するログ収集管理ツールだ(図1)。オープンソースで公開されており、Linuxや各種UNIXで動作する。 図1 fluentdのWebサイト ログ収集のためのソフトウェアとしてはsyslogdやsyslog-ngなどが有名だが、fluentdがこれらと異なる点としては、以下が挙げられる。 さまざまなソースからのイベントをさまざまな媒体に出力できる fluentdの大きな特徴としては、ログの収集方法やログの記
「ログを集めて保存する」と言うのは簡単だけど,ログ収集の構成にはいくつか方法があり,勉強会などでちょくちょく聞かれるので,いくつかのパターンについて書く. 「俺はもうバリバリログ収集やってるぜ!」という人は多分すでに知っていることが書かれているので,タブを閉じて良い. ここではログコレクタにFluentdを想定しているが,他のログ収集プロダクトにも適用出来るはず. ただ,Fluentdはタグベースのルーティングを持ち,単体でもキューのように動作させることが可能で,既存のものより複雑な問題を解決しようとしているので,少し工夫が必要かもしれない. Fluentdそのものについては公式ドキュメントや,Fluentdとはどのようなソフトウェアなのかを参考に. クライアントから直接保存する いきなりFluentdを使わないパターン.JavaScript SDKを提供している解析サービスやモバイル端末
終了 2015/10/15(木) 19:00〜 ログ分析勉強会 vol.1 セキュリティの陣 kenji kobayashi 他 東京都千代田区平河町2-16-1 平河町森タワー2F
こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視(アクセスログ・エラーログなど)をどのように行われているでしょうか? スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、csshX地こんにちは、SUUMOスマホサイトの開発チームに所属しているエンジニアの上野です。 今回は、リアルタイムログ解析基盤を紹介します。 背景 皆様はwebサーバログ監視(アクセスログ・エラーログなど)をどのように行われているでしょうか? スーモスマホサイトでは、アクセス数増加に伴いサーバ台数が増え、 csshX 地獄に陥りました。(以下の図のような状態のことです。) ログの確認が必要になった際に、この csshX を使用して秘伝のワンライナーで確認したい部分をtailして抽出していましたが
解説 イベント・ログはWindows OSにおける重要な管理機能の1つである。記録されたログを確認することにより、システムの動作状況を把握したり、エラーなどの原因を調査したりできる。 イベント・ログに記録できるログ数には上限がある(正確には、イベント・ログのファイル・サイズに上限が設けられている。記録されるイベントの情報量によって、最大記録可能件数は変わる)。イベント・ログがいっぱいになった場合は、Windows Server 2003以前のWindows OSでは「古いイベントから上書きして記録する」か、「それ以上記録することを止め、古いログが上書きされることを避ける」という選択肢しかなかった。だがイベント・ログはトラブル・シューティングのための重要な情報源であり、上書きしたり、記録せず破棄する、という選択は望ましくない。そこで、なるべく多くのログを残すため、従来はイベント・ログ・ファイ
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
今でも、 systemdのjournal におけるバイナリのストレージフォーマットに関して、不満を漏らす人が多くいることに私は驚きを隠せません。私は長年、システム管理者として働いてきており、1年以上も syslog-ng の オープンソースエディションのメンテナ として活動してきました。だからこそ、テキストではないストレージフォーマットに対して、なぜ多くの人が批判的なのか、私は理解に苦しんでいます。更に、反論を唱える人までいることが信じられません。もしかしたら、私は別世界の人間なのかもしれません。ですが、より良い選択肢があるのに、テキストのストレージを使う理由はほとんどありません。ロギングをする必要性、そしてなぜ、テキストのログストレージに対してそこまで用心深いのかについて、私は何度も尋ねられました。ここに、私が導き出した答えを紹介したいと思います。 これは、journalについて弁明する
ヤフーの掲示板でとてもすばらしい掲示板があり、 管理人のsinkuさんを始めとする並み居る投資家が バフェット、グレアム系の投資手法について 活発な議論をしていました。 しかし今では投稿数も減ってしまいいつ消滅する かもわからない状況なので、1つのHTMLファイルに まとめて保存したいと思います。 ダウンロードはこちら 個人投資家の方々には非常に非常にためになる 金言がちりばめられていると思います。 投資を始める前に、一度読まれることをお勧め致します。 私も、もっともっと精進したいと思います! P.S. 荒らし投稿、訂正系等、議論と関係ない投稿 については、容量500KB以下にするため削除しています。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く