サービス終了のお知らせ NAVERまとめは2020年9月30日をもちましてサービス終了いたしました。 約11年間、NAVERまとめをご利用・ご愛顧いただき誠にありがとうございました。
概要 複数台のWebサーバのログを fluent と hoop を使ってリアルタイムにHDFSに追記していくテスト。 より頻度の高い行動解析を行うことができるようになる? 参考にしたブログ: tagomorisのメモ置き場 テスト構成 # 初めてテキストで図書いた。 # 線を交差させる所で面倒くさくなって適当に... web01 server fluent master +---------+ +---------+ | Fluentd |--+--->| Fluentd |--+ +---------+ |+-->+---------+ | Proxy || +-->+--------+ +--------+ || | hoop |-->| HDFS | web02 server || fluent slave +-->+--------+ +--------+ +---------+
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
千葉Ruby会議10という噂でもちきりの東京Ruby会議10にいってきた。面白かった! 遠かったけど。 東京Ruby会議10 #tkrk10 - Regional RubyKaigi 会期:2013/01/13(日)〜14(祝・月) スタッフのみなさん、特に2日目の雪はたいへんだったと思いますが、おつかれさまでした。ありがとうございました。イベント主催側の判断として「中止して帰らせる」というのはつらかっただろうなと思いますが、おかげでその後の混乱が抑えられたんだと思います。 で、内容的には、いろんなrubyistと話ができて面白かったなー、というか。見知ってるけどほとんど話したことない、みたいな人が多い世界なので、何人もの人とあれこれ話ができたのはたいへんよかった。 セッションは内容がだいぶコミュニティ運営とかエンジニアとしての成長とは、みたいな話が多くて、個人的にはあんまりそういうのは興
20121115 オープンソースでハイアベイラビリティ! ~クラスタ管理の設計構築ハウツー&エンジニア思考力~Iwasaki Noboru
はじめに Treasure Data Analytics シリーズは,Treasure Data の提供するクラウドサービス上で実行可能な様々なデータアナリティクスのユースケースなどを紹介して行く長いシリーズです。第1回および第2回では「Treasure Data」とは何か,またその特徴およびメリットは何かについて紹介する予定です。 第1回では Treasure Data の提供する Cloud Data Warehouse サービスのイントロダクションを,第2回では「データアナリティクスを行うための Platform とは」という観点で Treasure Data の魅力をお伝えできればと思っています。 ※ なお Treasure Data は高度なインフラ・ソフトウェアテクノロジーを駆使しておりますが,本シリーズはデータアナリティクスを主眼においており,このサービスを支えるインフラ基盤
Fluentd is an open source data collector for unified logging layer. Fluentd allows you to unify data collection and consumption for a better use and understanding of data.
Fluentd Casual Talks に参加させていただき、 いろいろと捗る話を聞いていうちに 「Fluentdやばいこれは使うしかない!」 というテンションになったので早速試してみました。 インストール gem install fluent # 捗りそうなプラグインも gem install fluent-plugin-mongo gem install bson_ext gem install fluent-plugin-flowcounter gem install fluent-plugin-datacounter gem install fluent-plugin-growthforecast 今回試すアプリ ping のレスポンスをログって、そのままgrowthforecastに投げて可視化するまでを目標とします。 pingをログるスクリプト use strict; use
id:tagomoris さんにお声がけいただきまして、Fluentd Casual Talks にて「fluentdでWebサイト運用を楽にする」というタイトルで発表させていただきました。 発表資料はこちら 主催者の id:tagomoris さん、会場を提供していただいた DeNA 様、いろいろ準備をしてくださった id:riywo さんはじめ多くの方々、参加してくださった100名以上の皆様、ありがとうございました!楽しかったです。 発表ではここ半年ほど Fluentd を運用して来た経験をお話ししましたが、発表内で触れなかったことで大事(?)なことがありますので以下に補遺をいくつか書いておきます。 MongoDB にログを溜めすぎない方がいいかも 太田さん (@kzk_mover) の発表内でも触れられていましたが、数千万件程度にしておいたほうがいいのでは……という実感です。 発表内
railsのアクセスログは、とても機械的に解析しづらく、運用するにはあまりよろしくない。そこで、Rack::CommonLoggerを使ってアクセスログを別途とったりしようとしていたのですが、(一般的にはNew Rericとかをつかうのが普通なんでしょうか?) ログのローテーションとか考え出すと、あまり良い方法が思いつかない、という関係で、 syslogへ投げる fluentdへ投げる というアイディアを思いついたのですが、syslogだと機械解析しづらいフォーマットになってしまったりあまり詳しい人が意外といなかったりする関係で、流行っているfluentdへ投げちゃえと思いRack::CommonLogger::Fluentというrackのミドルウェアを書いてみた次第。 https://github.com/walf443/rack-common_logger-fluent まだ作り始めで
@hirose31 さんが突如として流行らせた感のある dstat ですが、「乗るしかない、このビッグウェーブに!」ということで python の勉強ついでに触ってみました。 dstat の万能感がハンパない – (ひ)メモ dstat の結果を fluentd に投げる やったこととしては、csv に吐き出す部分をパクってそのまま fluend に投げる様にしてみました。 fluent-logger · b6dcb12 · riywo/dstat これで、dstat の起動オプションに--fluentdというのを与えると、ローカルの TCP:24224 で待ち受けている fluentd に対して「debug.*」の形で毎秒ログを送りつけることができます。(fluentd の接続先とかタグとかは誰か調整できるようにして下さい。。。) 2012-03-03 03:36:43 +0900 de
自分もfluentdのビッグウェーブに乗ろうとして、試す上で色々検索しているけど、 しょっちゅう同じサイト見たりしている。 なので、メモとしてよく見るサイトとかを書いておく。 - 勝手に載せんな!!というのがあれば、申し訳無いですが言って頂ければ 削除します・・・。 - 古橋貞之の日記「イベントログ収集ツール fluent リリース!」 id:viverさん http://d.hatena.ne.jp/viver/20110929/p1 http://www.slideshare.net/treasure-data/fluentd-meetup-in-japan-11410514 公式ドキュメント http://fluentd.org/doc/ Github https://github.com/fluent/fluentd - 以下、利用している人たちのまとめやスライド - 2012/02
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く