Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例「Hatena Engineer Seminar #2」で発表した資料です
FluentdとRedisを使ったランキング機能の実装 | SmartNews開発者ブログ
ゴクロの大平です。ごくろうさまです。 Redisは高速で、かつデータの永続化や、複数のデータ型によるストア(list,set,sorted set等）も対応しており、機能的が豊富ということから愛用者の多いKVS実装の一つだと思います。 特に私のようなアプリケーションエンジニアの人間にとってはデータ型のバリエーションの豊富さが便利さを感じる部分で、たとえばlistを用いてタイムライン的な情報や履歴情報の管理、sorted setを用いてランキング情報の管理、などのようにアプリケーションの需要の多くにRedisが対応することができます。 これらの情報を登録する際のフローとしては自作のアプリケーションから直接、というケースが多いと思いますが、せっかくFluentdのような便利なlog collector実装があるので、FluentdとRedisを組み合わせる事でカジュアルに情報の蓄積を行いたい
Fluentdの知られていない6つのこと - Boost Your Programming!
Fluentdの知られていない6つのこと 本当に知られていないかはわからないです。 公式にはあまり説明されていなかったり調べてもなかなか見つからないことが多いと個人的に思ったものを集めました。 機能や言葉の細かい説明は省いているのである程度使っている人が対象です。 out_copyはshallow copy Fluentdで最初に使うであろうビルドインされているout_copyプラグインですが、実はデフォルトではメッセージをdeep copyしないため意図しない結果になることがあります。 <match test> type copy <store> type record_modifier tag test.aa foo bar </store> <store> type retag tag test.bb </store> </match> <match test.{aa,bb}> ty
Labeled Tab Separated Values (LTSV) ノススメ - stanaka's blog
追記(2/8 11:30) id:naoyaによる一連のまとめが【今北産業】3分で分かるLTSV業界のまとめ【LTSV】 - naoyaのはてなダイアリーにあります。 また、仕様などをまとめるために http://ltsv.org/ を立ち上げました。 追記ここまで Labeled Tab Separated Values (LTSV) というのは、はてなで使っているログフォーマットのことで、広く使われているTSV(Tab Separated Value)フォーマットにラベルを付けて扱い易くしたものです。はてなでは、もう3年以上、このフォーマットでログを残していて、one-linerからfluentd、Apache Hiveまで幅広く便利に使えています。 ログフォーマットに期待されることは、 フォーマットが統一されている → 共通のツールで集計し易い 新しいフィールドの追加が容易 → サー
ELBのhttp_status_codeをfluentdを使って可視化してみる - zabbiたんAMIたん
前回記事の下りが長すぎるので、短くいきます！ AWS Advent Calender 24日目です！クリスマスですが、クリスマスには全く関係ありません！ 途中までしか動作確認できていませんのであしからず・・・ そしてネタ的にもAWSあんまり関係な・・・ 構成図はこんな感じ やりたいことは ・fluentdでaccessログのステータスコードをカウント ・カウント結果をZabbixに放り込む ・ELBからインスタンスが外れた場合にアラートメール ※fluentdのプラグインでCloudwatchとか出来たら・・・・それ使いますｗ ※fluentd流行っているみたいなので波に乗っかりました・・・ となっております。 まずはWebサーバーにfluentd(td-agent)インストールとプラグインインストール。 # cat /etc/yum.repos.d/td.repo [treasureda
fluent-plugin-mysql で time を insert する - TODO: ブログの名前を考える
UNIX/Linux歴が浅い自分にとって、awk等でログ解析をするのは結構壁が高い。ということで、Fluentdとそのプラグイン(GitHub - tagomoris/fluent-plugin-mysql)に飛びついたのだが、一つ残念だったのが TODO: implement 'time' and 'tag' in key_namesなところ。 これを何とかしてみた。 1. MySQLに取り込める形で日時を出力する 標準の"%t"はFluentdに(?)先に取られてしまってどうにもならないので、MySQL出力用に「もう一つ」日時を出力しておく。datetime型に突っ込むことを想定して、フォーマットを指定しているところ("%{[%Y-%m-%d %H:%M:%S]}t")がポイント。 LogFormat "\"%{X-Forwarded-For}i\" %l %u %t %{[%Y-%m
Quickstart Guide | Fluentd
Let’s get started with Fluentd! Fluentd is a fully free and fully open-source log collector that instantly enables you to have a ‘Log Everything’ architecture with 125+ types of systems. Fluentd treats logs as JSON, a popular machine-readable format. It is written primarily in C with a thin-Ruby wrapper that gives users flexibility. Fluentd’s scalability has been proven in the field: its largest u
Installing td-agent for Redhat and CentOS / Installing td-agent daemon / FAQs - Treasure Data Platform Support
Installation This article shows how to install td-agent for CentOS, RHEL 5.0+. At first, please create /etc/yum.repos.d/td.repo with the following contents. [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 Then, you can install via yum command. $ yum update $ yum install td-agent /etc/init.d/td-agent script is also provided to start, stop, or r
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
