fluent-loggerを使ってfluentdにログを送ってみる - abcdefg.....
fluent-loggerを使ってfluentdにログを転送してみたメモです。 各言語から直接fluentdにログを送るのはどうするのか分からなかったので調べてみると、 fluentのGitHubリポジトリに各言語ごとのfluent-logger-xxxxがありました。 github.com 2018年2月時点では java, python, ruby, go, node, php, perl, scala, erlang, D, ocaml が存在しています。 fluentのリポジトリにない言語も有志で作っているものがあるようです(fluent-logger-haskellなど) javaとgoで試してみようと思います。 ほとんどREADMEのままです。 下記のバージョンで試してみます。 Ubuntu 16.04 td-agent 0.12.4(fluentd-0.12.40) Elas
fluentdでElasticsearchにnginxアクセスログを流してみる - abcdefg.....
fluentdでElasticsearchにNginxログを流してみたメモです。 以前、LogstashとBeatsを利用してElasticsearchにデータ投入を試したので、 fluentdでも試してみようと思います。 https://www.fluentd.org/ Nginxのアクセスログをfluentdを利用してElasticsearchに流してみます。 下記のバージョンで試してみます。 Ubuntu 16.04 td-agent 0.12.4(fluentd-0.12.40) Elasticsearch 6.1.1 Kibana 6.1.2 nginx 1.12.2 Elasticsearch Elasticsearch 6.1.1をインストールして起動します。 $ curl -L -O https://artifacts.elastic.co/downloads/elasti
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Kibanaの運用で注意すること - Carpe Diem
概要 Kibanaをログ可視化＆検索として扱う上でいくつかの問題が生じたので、その時の対処方法をまとめます。 ログ可視化という用途であればレスポンス速度などの優先度は下げられるため、以下の対応が可能になります。 環境 Ubuntu 14.04 Elasticsearch 2.1.1 Kibana 4.3.1 問題１：OutOfMemoryErrorが出る field data cacheのサイズを絞る SortやAggregation(集計)を高速に行うために、各fieldのデータをメモリに載せていますがデフォルトだと無制限に載るため調整します。 /etc/elasticsearch/elasticsearch.yml indices.fielddata.cache.size: 75% ※ 下記のdoc_valuesを使うのであれば設定は不要です doc_valuesを使う キャッシュの際
[debian] fluentd を Wheezy へ、公式に忠実にインストールするようにレシピを書いてみた [chef] - Qiita
[debian] fluentd を Wheezy へ、公式に忠実にインストールするようにレシピを書いてみた [chef]DebianFluentdcheftd-agentwheezy ここ数日、インフルエンザ(みたいな)症状に苦しんでるしょっさんです。おはようございます。もうすぐ寝るんですが。 今更ですが、fluentd です。 rsyslogd でいいや、とか思いつつも、収集できないかなしいログをどうしようか悩んでいたら、そんなものが流行っていると聞いてやってきました。しかし、残念なことに、debian の標準パッケージには存在しない逸材。お手軽に試すこともできません。 chef でさらっと書いておけばいいやと思ったら、手順が面倒な宝庫。debian使いには、パッケージ作れば良いじゃんと言われたものの、下手にパッケージつくっといてメンテナンスできないの目に見えてるので、なんとか使える方
![[debian] fluentd を Wheezy へ、公式に忠実にインストールするようにレシピを書いてみた [chef] - Qiita](https://cdn-ak-scissors.b.st-hatena.com/image/square/745484e052c3e88fd427c33d7c00a2319a1abf64/height=288;version=1;width=512/https%3A%2F%2Fqiita-user-contents.imgix.net%2Fhttps%253A%252F%252Fcdn.qiita.com%252Fassets%252Fpublic%252Farticle-ogp-background-9f5428127621718a910c8b63951390ad.png%3Fixlib%3Drb-4.0.0%26w%3D1200%26mark64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTkxNiZoPTMzNiZ0eHQ9JTVCZGViaWFuJTVEJTIwZmx1ZW50ZCUyMCVFMyU4MiU5MiUyMFdoZWV6eSUyMCVFMyU4MSVCOCVFMyU4MCU4MSVFNSU4NSVBQyVFNSVCQyU4RiVFMyU4MSVBQiVFNSVCRiVBMCVFNSVBRSU5RiVFMyU4MSVBQiVFMyU4MiVBNCVFMyU4MyVCMyVFMyU4MiVCOSVFMyU4MyU4OCVFMyU4MyVCQyVFMyU4MyVBQiVFMyU4MSU5OSVFMyU4MiU4QiVFMyU4MiU4OCVFMyU4MSU4NiVFMyU4MSVBQiVFMyU4MyVBQyVFMyU4MiVCNyVFMyU4MyU5NCVFMyU4MiU5MiVFNiU5QiVCOCVFMyU4MSU4NCVFMyU4MSVBNiVFMyU4MSVCRiVFMyU4MSU5RiUyMCU1QmNoZWYlNUQmdHh0LWNvbG9yPSUyMzIxMjEyMSZ0eHQtZm9udD1IaXJhZ2lubyUyMFNhbnMlMjBXNiZ0eHQtc2l6ZT01NiZ0eHQtY2xpcD1lbGxpcHNpcyZ0eHQtYWxpZ249bGVmdCUyQ3RvcCZzPWM3NjYyODE0OGM4Yjc3MTQ5MTdmZTM5MTNhNTlhMTc2%26mark-x%3D142%26mark-y%3D112%26blend64%3DaHR0cHM6Ly9xaWl0YS11c2VyLWNvbnRlbnRzLmltZ2l4Lm5ldC9-dGV4dD9peGxpYj1yYi00LjAuMCZ3PTYxNiZ0eHQ9JTQwc2hvNzY1MCZ0eHQtY29sb3I9JTIzMjEyMTIxJnR4dC1mb250PUhpcmFnaW5vJTIwU2FucyUyMFc2JnR4dC1zaXplPTM2JnR4dC1hbGlnbj1sZWZ0JTJDdG9wJnM9ODQ5NWQ2OWY5YjY3ZmU1MzI5ZTlmNzYxMTI0YmZiMWQ%26blend-x%3D142%26blend-y%3D491%26blend-mode%3Dnormal%26s%3D151dd48deafdf65e1e8a643c4bf71024)
Parse Postfix Maillogs and Store Them in MongoDB | Fluentd
It is helpful to have maillogs stored in a semi-structured manner for future auditing and root cause analysis. This brief solution guide shows you how to parse Postfix maillogs and store them into MongoDB in near real-time. Prerequisites A basic understanding of Fluentd A Postfix MTA running locally In this guide, we assume we are running td-agent on Ubuntu Precise. Tailing the Postfix Maillog The
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
Fluentdが流行る理由がいま分かる、10の実践逆引きユースケース集 - Y-Ken Studio
ログデータを活用してビジネスに役立てようという最近のトレンドは理解できる。 しかし、なぜログ収集ソフトウェアのFluentdがこれほどまで話題になるのか、不思議に感じている方もいるのではないだろうか。単にログデータを収集するならばsyslog-ngやrsyslogで十分ではないかという意見もあるだろう。 それらは既存のログシステムを置き換えるプロダクトであり、Fluentdのそれとは根本的に異なる。Fluentdは、既存のログシステムに手を入れることなく新たにログの収集を行い、ストリームデータ処理を実現するプロダクトなのである。 一般的にログデータはサーバの数だけ分散しており、それを定期実行処理で収集するということだけでも、なかなか骨の折れる仕事である。さらに集めるだけでなく、日々増え続けるログデータを活用できる形に加工してしかるべきデータストアに保管するということに挫折した方もいるのでは
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
グリー技術者が聞いた、fluentdの新機能とTreasure Data古橋氏の野心
fluentdのほかにもバイナリシリアライゼーションフォーマット「MessagePack」の開発などで知られる古橋氏だが、学生時代からその技術力の高さには定評があり、注目され続けてきたスーパーエンジニアでもある。 今回、fluentdのユーザーでもあり、古橋氏とは旧知の仲でもあるグリー 開発本部 リーダーの森田想平氏がインタビュアーとなり、fluentdにまつわるトピックや、トレジャーデータでの開発、オープンソースへの想いなどを訊いている。本稿では、その模様をお伝えしながら、“エンジニア・古橋貞之”の魅力に迫ってみたい。 fluentd v11の注目ポイント 森田 まずは、グリーでも大変お世話になっているfluentdについて、いろいろ聞かせてください。開発中の新バージョン（v11）では、かなり大きな変更や機能追加があると伺っていますが、注目ポイントをいくつか教えてもらえますか。 フィルタ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - uken/fluent-plugin-postgres
fluentdでログが欠損する可能性を考える : sonots:blog