fluentdからcurlコマンドで汎用的にWebAPIやWebHookを叩けるプラグインを書いた #fluentd - koeだめ 過去アーカイブ[〜2013-12-14]
http://b.hatena.ne.jp/entry/d.hatena.ne.jp/bash0C7/20131009/fluent_plugin_idobata で、 チャット通知系をもっと簡単に作れるメタFluentdプラグインがあると幸せになりそうです。 https://twitter.com/yoshi_ken/status/387776256064126977 というコメントがあり、これはごもっともと思った次第。 エレガントな解を考えつかなかったので、まずはベタに普段カジュアルにWebAPIやHookを叩くときに使っているcurlコマンドを用いて、汎用的に使えるようにしようということで書いてみました。 https://github.com/bash0C7/fluent-plugin-curl *1 設定ファイルでcurlのパスとパラメータのURLとoptionsのもととなるテンプ
![fluentdからcurlコマンドで汎用的にWebAPIやWebHookを叩けるプラグインを書いた #fluentd - koeだめ 過去アーカイブ[〜2013-12-14]](https://cdn-ak-scissors.b.st-hatena.com/image/square/752a7f4df46df8c562ba5064d41f4352b55f3d3d/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F17680117126976353052%2F17680117126976355380%2F1550818819)
S3とFluentdを用いた効率的なログ管理 | SmartNews開発者ブログ
ゴクロの大平です。 私にとって一番大事で替えの効かないミュージシャンはさだまさしさんですが、私にとってクラウドコンピューティングのサービスの中で一番大事で替えが効かないサービスはS3です。 多種多様なAPIを用いて柔軟にファイルの操作が出来る事や、”99.999999999％”と謳われている高い耐障害性、S3にあるデータをElastic MapReduceやRedshiftなどを用いて手軽にデータ解析を行える基盤が提供されていることなど、あまりに便利すぎてS3の代替となるサービスを探しだすのが難しい状態です。 もちろん多くのAWSユーザーが同じようにS3の便利さを享受していると思いますし、インターネット上でも多くのブログ等でその魅力が語られています。その中で本記事は既に存在する記事と似たような内容を書いてしまうかもしれませんが、弊社なりのS3の使い方についてご紹介したいと思います。 なお
Termtter + Fluentd ですべてのツイートを構造化データとして収集する | 774::Blog
<source> type forward port 9999 </source> <match twitter.statuses> type mongo database twitter host localhost port 27017 tag_mapped flush_interval 1s </match> > show dbs; twitter 0.015625GB > use twitter switched to db twitter > show collections; system.indexes twitter.statuses > db.twitter.statuses.findOne() { "_id" : ObjectId("522828fe1c2a362fed000001"), "created_at" : "Thu Sep 05 04:00:11 +0000
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast
サイトのレスポンスタイムをリアルタイムでグラフ表示する方法 nginx → LTSV → Fluentd(td-agent) → GrowthForecast 去年あたりから急速に知名度をあげている[生ログ収集 → グラフ表示]のツールとしてFluentd + GrowthForecastがあります。 いろいろなblogで紹介されていることからも人気の高さが伺えます。 なぜ、こんなに人気なのかというと、 ログ収集基盤としてFluentd、メトリクス収集とグラフ化のGrowthForecastともに、 コンパクト・扱いやすさ・完成度が高く・いろいろな応用が効きプラガブル・かつ簡単に導入可能といったところが挙げられるでしょう。 今回は、nginxのインストールから始め、MySQL、perlbrew、cpanmといった周辺ミドルウェアのインストール方法も網羅して紹介していきます。 また、ngin
fluentd out_exec_filter を使ってみた - Studio3104::BLOG.new
はじめに in_tailでパースされたwebのアクセスログに含まれるクエリストリングを、外部プログラムでさらにパースする例を紹介します。 例えば、クエリストリングに"uid"ってキーが定常的に含まれる場合など、得られた結果をMongoDBなどに突っ込んで、"uid"にインデックスを張っておくと解析システムの開発の助けになるんじゃないでしょうか。 まずは超ベーシックなin_tailの例 fluentdを使ってwebサーバのアクセスログをリモートのサーバに転送する場合、in_tailを使うのがベーシックですよね。 例えば、webサーバがnginxだった場合はこんな感じが超ベーシック。 nginxのログフォーマット設定 combined+レスポンスタイムな感じの一般的なもの。 log_format main '$remote_addr - $remote_user [$time_local] "
tjun月１日記
コロナウイルスが流行する前の2020年1月上旬、中国の杭州に行ってきたのでその記録を書いておく。 はじめに 自分はこれが中国へ行くの5回目。それなりに慣れている方だと思うけど、中国人と一緒に行ったほうが圧倒的に楽です。 数年前にキャッシュレスが普及して、その後も規制が変わったりして行くたびに状況が変わっています。なので、ここで書いてあることは半年後には参考にならないかも。 事前にやっておくこと WeChatPayのアカウントを作る、可能なら本人確認とチャージをやっておく Alipayのアカウントを作って、可能なら本人確認とチャージをやっておく 中国で使える香港SIMを買う WeChatPayとAlipayのアカウントは、外国人でも作れるときと作れないときがある。またお金もチャージできるときとできないときがある。 事前にググってできるかどうか試しておくのが重要。 また、中国はいわゆるGrea
fluentd + mongodb+ node.js でリアルタイムにグラフを描く - stanaka's blog
追記 2/22 毎回微妙に追記していますが、今回も追記です。最後にmongodbのinsert性能について80lines/secで厳しくなった、と書いてますが、環境か設定まわりがあやしいので訂正します。もうすこし検証してみようと思います。 → 検証して fluentd側の設定の問題であることが分かりました。詳しくは、http://blog.stanaka.org/entry/2013/02/22/171053 追記ここまで 最近は、fluentd + mongodb でログを蓄積していろいろ便利に使っているわけですが、数分に一回集計スクリプトを周したり、 GrowthForecast の画面をリロードしまくるのではなく、もっとリアルタイムで見たい! という欲求が募ってきたので、 node.js を使って実装してみました。( https://github.com/stanaka/realti
#fluentd 用ログ収集専用のエージェント fluent-agent-lite 書いた - たごもりすメモ
みんな大好きfluentdはたいへん便利ですが、ログの収集＆集約だけをしたい、というときにちょっとオーバースペック気味のところがあります。特に in_tail はログの読み込みと同時に parse をする仕組みになっており、まあログが書かれた場所ならparseのルールもわかってるでしょ、というところは合理的なものでもあるのですが、loadavgが高いサーバでそういうことをするのは正直にいってなかなか厳しいです。 そういうわけで以前に scribeline というエージェントツールを作ったのでこれを fluentd 以降後も使い続けていたのですが、ログをいったん集約するところの fluentd がCPU使用率的にいっぱいいっぱいになって厳しいものがありました。「scribe(Thrift)じゃなくてMessagePackにすれば倍くらいさばけるよ」ということを某開発者が言っていたような気もす
fluentdで、1つのログから複数のメトリクスを得る。 - Studio3104::BLOG.new
ウィークリーFluentdユースケースエントリリレーの記事です。 「1つのログから複数のメトリクスを得る」という目的主眼の記事です。 各プラグインの仕様や紹介していないオプションについては、他の方が書かれる記事や、作者様のブログやGitHubをご参照ください。 WEBのレスポンスタイムをグラフ化する fluentd casual talks で、fujiwaraさんが発表されたfluentdでWebサイト運用を楽にするがきっかけで、WEBのレスポンスタイムを可視化し始めた方、多いと思います。 (かなり極端な例ですが)こんなふうにグラフが出ることによって、「14:30頃からレスポンスが著しく悪くなっている！」ということが見て取れるようになります。 これによって"14:30から遅い応答が増え始めた"ということはわかるようになるのですが、「じゃあどこが遅いの？」となって結局生のログを漁ったりする
Node.js のログを Fluentd を使って MongoDB に集約する | DevelopersIO
最近 Fluentd をプロジェクトで導入しようと考えています。 Fluentd は、あらゆるデータのログを json を使ってシンプルに転送、集約させることができるツールです。 クラウド環境やビッグデータを扱う上で、今後需要が高くなりそうです。 ソーシャルゲーム業界などではかなり実績があるみたいですね。 今回お試しとして、Node.js のエラーログを Fluentd を使って MongoDB に保存するサンプルを作ってみます。 こんな感じ。とてもシンプルです。。 Input Output +------------------------------------------------+ | | | Node.js --------> Fluentd --------> MongoDB | | | +-------------------------------------------
異常値検出プラグイン fluent-plugin-anomalydetect を使ってみたのでそろそろ閾値を決めたい - 酒日記 はてな支店
異常値検知、素敵な響きですね！fluent-plugin-anomalydetect 作りました - PolyPeaceLight あらかじめ固定値でアラートの条件を決めておかなくても、通常と異なる数値変化を検出してアラートできたら大変嬉しい、ということでインストールして一週間ほど運用してみました。 fluent-agent-lite で送信されてくる nginx のアクセスログの数を対象 60秒間隔で集計 <match nginx.access.**> type copy <store> ... </store> <store> ... </store> <store> type anomalydetect tag nginx.anomaly.access_log tick 60 store_file /var/log/td-agent/anomalydetect.dat </store
サービス終了のお知らせ - NAVER まとめ
サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
Fluentd Meetup #2 発表資料 | 外道父の匠
このブログやTwitterをご縁に、Fluentd meetup in Japan #2 で登壇させていただくことになり、張り切って発表してきました。 発表資料はアニメーションを多様していたのでSlideShareだとわかりづらいかもですが、アップロードしましたので御覧くださいませ。 内容の補足 いくつか質問を受けて答えたりTwitterで見た点について、資料の補足をしておきます。 Agent -> Collector通信経路について Q. なぜVPNにしなかったのか A. VPNは可用性／負荷分散性の点で弱いため。また、VPNサーバや他にもGatewayなど余計な経路を通ることになり無駄である。Agentの増加に対してボトルネックができない構成にしたかったため。政治的な理由で、ある環境だけVPNをはれないといった場合もあり、総合するとGlobal＋暗号化 が良い落とし所だった。 圧縮／暗
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FluentdとGrowthForecastを使った可視化 〜 Haikanko OSS化への道(4) : sonots:blog
https://raw.githubusercontent.com/stanaka/fluent-plugin-tail-labeled-tsv/master/lib/fluent/plugin/in_tail_labeled_tsv.rb
Big Data入門に見せかけたFluentd入門
GitHub - tagomoris/fluent-agent-lite: Lightweight log delivery agent works w/ fluentd
GitHub - katsyoshi/fluent-plugin-axlsx: fluent plugin for excel
GitHub - tagomoris/fluent-plugin-secure-forward
http://dl.dropbox.com/u/224433/fluentd_casual_1/index.html