クックパッドのログをいい感じにしているアーキテクチャ / Logging architecture at CookpadCookpad Tech Kitchen #9 https://cookpad.connpass.com/event/60831/
SyslogをKafkaサーバに転送して、そこからGraylogをつかってlogをPub-Sub方式で取得をさせる | 俺的備忘録 〜なんかいろいろ〜
Blog 201701 SyslogをKafkaサーバに転送して、そこからGraylogをつかってlogをPub-Sub方式で取得をさせる 前回、syslogをKafkaに転送させるようにしたので、今度はそこからGraylogでログを取得する。 特にプラグインもなしでできるので、(いろいろと問題はあるが)なかなか良い感じだ。 設定は簡単で、[System] > [Inputs]で新規のインプットとして[GELF Kafka]を選択し、「Launch new input」から新しいインプットを作成するだけだ。 zookeeperのアドレスは複数指定できるので、各ノードのアドレスを指定してやる。 で、INPUTが正常に作成・動作したら、以下のようにKafkaからログが取得されるようになる。 このとき、タイムスタンプがGraylogがログを取得したタイミングになってしまうので注意。 また、注意し
ログ収集ツールの比較 - Qiita
ログ収集ツールとしてはFluentd、Logstash、Flume等が挙げられる。ファイルやメール、syslog、DB、センサからログデータを読込み、必要なログをフィルタして、jsonやxmlに整形してアウトプットする機能を持つ。 メリット プラグインが300+公開されており、様々な形式のデータをインプット、アウトプットできる 単体でログのフィルタ、バッファ、ルーティングができる 2000+を超える企業に利用されている 日本語の情報が多い デメリット 単体で動作するためfluentdが落ちたらバッファしているログが消える 想定外のログが入力されると大量のスタックトレースが吐かれる 引用：http://changineer.info/server/logging/fluentd-td-agent.html#fluentd-2 Logstash メリット フィルタを簡単にカスタマイズできる F
サイボウズのサービスを支えるログ基盤
Cybozu Meetup #6 大規模サービスを支える名脇役たちでの発表 https://cybozu.connpass.com/event/61329/
EFK(Elasticsearch + Fluentd + Kibana)をDocker-Composeで試してみた
なかなか試せなかったログ収集・解析周りのツールを周回遅れで軽く試してみた。 Docker 1.8 からFluentdもlog driverに追加されているので、これを使って簡単なサンプルを構築した。 構成適当なnodeJSアプリケーションのフロントにnginxを立たせて、 収集したログをtd-agentで、Fluentdのログ収集コンテナに24224ポートで転送する。 あとはElasticsearch、Kibanaで解析・表示する。 アプリケーションからのログ転送はDockerのlog-driverオプションを使うので、td-agentの導入を省けた。 Fluentd、Elasticsearch、Kibanaはそれぞれオフィシャルのイメージがあるので、そちらを活用した。 Elasticsearchは9200ポート、kibanaは5601ポートを使った。 ログ収集・解析基盤のセットアップFl
Page not found - Fluentd
Sorry, but the page you were looking for could not be found.
Fluentd の Docker イメージを動かした際のメモ - tatsuyafwの日記
タイトル通り Fluentd の Docker イメージを動かした際のメモです。 背景 Fluentd を使って動作確認を行う際は CentOS などの Linux に td-agent を入れていました。ただ、毎回環境構築のたびに td-agent をインストールするのも...と思い、Fluentd の Docker イメージが用意されていたので動かしてみました。 fluent/fluentd-docker-image: Docker image for Fluentd 環境情報は以下のとおりです OS: OS X 10.11.6 (El Capitan) Docker: 1.11.2 Docker 実行環境: Boot2Docker 最近、Docker for Mac がリリースされたようですが、ここでは手を抜いて Boot2Docker 上の Docker で動かしてみます。 Doc
EmbulkとDigdagとデータ分析基盤と
モノタロウの1900万商品を検索する Elasticsearch構築運用事例（2022-10-26 第50回Elasticsearch 勉強会発表資料）
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
