fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど） - Qiita
fluentdを導入時にまず知っておいたほうがよさそうなこと（インストール、監視、HA構成、チューニングなど）CentOSFluentdElasticsearchtd-agent fluentdを使う時にまず知っておいたほうがよさそうなこと はじめに 朝からElasticsearchへのデータの投げ込み方を考えていました。 データベースやメッセージキューなどにデータを投げ込んでおいて、ニアリアルなバッチでElasticsearchに投げ込むよりも、fluentdを使う方が圧倒的に簡単で信頼性が高いものができますね。自分で作りこむのがバカらしくなりますね。 ということで、fluentd利用時に気を付けておきたいことについて調べてみました。内容は公式ドキュメントの内容をベースに自身で調べたことを追記しています。公式ドキュメントへのリンクも貼ってありますので適宜そちらをご覧いただければと。 環境
fluent-plugin-slackrtm | RubyGems.org | your community gem host
RubyGems.org is the Ruby community’s gem hosting service. Instantly publish your gems and then install them. Use the API to find out more about available gems. Become a contributor and improve the site yourself. RubyGems.org is made possible through a partnership with the greater Ruby community. Fastly provides bandwidth and CDN support, Ruby Central covers infrastructure costs, and funds ongoing
ログ集計／時系列DB／可視化ツールの調査結果 - Qiita
近年、自分の中で集計／可視化は Fluentd(datacounter)+Growthforecast で定番化していました。 しかしプロダクトで新たに集計／可視化の要件が出てきたことと、 最近可視化ツール周りで 「Kibanaってなんじゃ？」「Graphiteってなんじゃ？」「InfluxDBってなんじゃ？」 など、このツール達は一体何なんだろう…？というのが前々から気になっていました。 今回良い機会なので ◯◯は何をするものなのか？ というのを一つ一つ調べてみました。 いわゆる「触ってみた系」の記事なので だいぶ浅い感じです。 大分類 大きく分けると、可視化ツールは以下の３つに分けられそうです。 ログ収集/集計 時系列DB（＋API）の担当。バックエンド側。 可視化部分の担当。 今回は バックエンド と 可視化部分 に焦点を当ててみます。 バックエンド 全文検索時エンジン+Restfu
Norikra v1.0.0 - たごもりすメモ
English article 以前からスキーマレスなストリーム処理をSQLで！というソフトウェアとして作っていたNorikra、このたびあちこち機能改善したりしたので、既にお仕事で絶賛稼働中ということもあるし、区切りとして v1.0.0 としてリリースした。 ついでにロゴとかも作ったので、なんとなくいい感じになりつつある。 https://rubygems.org/gems/norikra/versions/1.0.0-java http://norikra.github.io/ 修正点は リポジトリ のChangesに書いてあるが、curlだけで操作できるようHTTP JSON APIが加わってたり、GCまわりでハマらないようなデフォルトオプションが入ってたり、分析系クエリを書きたい人のために Group-by with Rollup や Grouping sets, Cube などの
fluentdでHBaseに送り込んだログをImpala or Hiveで集計 – OpenGroove
fluentdでnginxのログをHBaseとHDFSに送り込み、それぞれHive or Impalaで遊んで集計かけてみた。 実行環境は以下2台。 nginx + td-agent (Amazon EC2 t1.micro、CentOS) Hive + Impala + HBase (Amazon EC2 m1.large、CentOS、CDH4.3のHadoop疑似分散モード） ログを送り込むための設定は以下のようにした。テーブルマッピングは実際のHBaseテーブルに沿って記述する。一応ローカルマシンにも書き込む設定にした。 /etc/td-agent/td-agent.conf <source> type tail format apache path /var/log/nginx/access.log pos_file /var/log/td-agent/nginx.pos tag
nginxのログをfluentdからHDFSに送る – OpenGroove
前回のDynamoDBに引き続き、今回はfluentd経由でnginxのログをHDFSに書き込む、というのをやってみた。そのまま置き換えるだけというのもつまらないので、同じログをローカルファイル、DynamoDB、HDFSの複数箇所に書き込む設定にしてみる。紆余曲折あったが、どうにか三連休が終わる前に期待値通りになってくれた（それって…）。 実行環境は以下２つのAWSマシンと、Amazon DynamoDB。テーブルは前回で作成済み。 マシン間はすべてのポートで通信できている前提。 ログ送信元マシン：nginxが起動 ログ出力先マシン：Hadoop疑似分散環境 real worldでは複数のマシンからログを集約してそのログ集約サーバからHDFSやDBにログを送り込むことになるんだろうけど、所詮ひとりケチケチR&Dなのでそこまでやりません。 追加でやったこと。 ログ送信元マシンでwebhdf
nginxのログをfluentdからHBaseに送る – OpenGroove
まだやるもんねfluentdシリーズ、今回はHBase編。環境は、AWSマシンのnginxサーバ + Hadoop疑似分散モード上のHBaseの2台。nginx側の設定などは過去記事参照願う。 参考 https://github.com/Furyu/fluent-plugin-hbase ではnginxサーバにプラグインをインストール。 # /usr/lib64/fluent/ruby/bin/gem install fluent-plugin-hbase HBase側マシンでhbase-thriftをインストール。これが必要とのこと。 # yum install hbase-thrift -y HBase起動後、hbase thrift serverを起動。コンソールログが出力されるのでバックグラウンドで実行。 # hbase thrift start -threadpool & HBa
Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Norikraで遊んでみた - Qiita
Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください！ Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリームをSQLライクな言語でごにょごにょできるものである。 NorikraのスライドはSlideShareにあるので是非見ておこう。 Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi この記事はおそらく一瞬で古くなると思うが、環境は次のような感じだ。 product version
「ハックガールズpresents システムライトニングトークBar」にて日常生活で培った技術の話を紹介しました #hack_LT - pixiv inside [archive]
"古きよき時代から来ました、真面目なSE、真面目にSE" 広告系技術兼pixiv開発マネジメント担当 @bash0C7です。 2014/5/14(水)に開催された2014/5/14 ハックガールズpresents システムライトニングトークBar on Zusaarというイベントに発表者の一員としてご招待いただき、わたしが日常で培った技術の話をしてきました。 イベント概要 著名なエンジニアが続々登壇決定！ 「リアル脱出ゲーム」でお馴染みSCRAPの公式アイドル、 「パズルガールズ」の内部ユニット、 プログラミングが出来るアイドル「ハックガールズ」主催のシステムライトニングトークBarを開催！ お酒とおつまみ片手に個性豊かな登壇者のLTを聞き、 勿論お客様同士でも交流頂けるエンジニア向けのBarです。 提示資料（公開版） 「セキュアで安心！2014年の生活自動化プラットフォーム」というタイト
![「ハックガールズpresents システムライトニングトークBar」にて日常生活で培った技術の話を紹介しました #hack_LT - pixiv inside [archive]](https://cdn-ak-scissors.b.st-hatena.com/image/square/d00cd261d726942820a0c5a95f7743d46dd3aca3/height=288;version=1;width=512/http%3A%2F%2Fcdn-ak.f.st-hatena.com%2Fimages%2Ffotolife%2Fb%2Fbash0C7%2F20140515%2F20140515001849.png)
InfluxDBとGrafanaとfluentdで、twitterデータのリアルタイム集計・可視化 - Qiita
require 'influxdb' => true influxdb = InfluxDB::Client.new :username => 'root', :password => 'root' => #<InfluxDB::Client:0x007fb424481ec8 @async=false, @hosts=["localhost"], @initial_delay=0.01, @max_delay=30, @open_timeout=5, @password="root", @port=8086, @read_timeout=300, @time_precision="s", @use_ssl=false, @username="root"> influxdb.create_database('qiitademo') => #<Net::HTTPCreated 201 Crea
CentOSにfluentdを導入 - Qiita
環境: CentOS6.4 Documentを参照しながら進めていきます fluentd Document fluentdはgemを使ってインストールも出来るようですが今回はCentOSということもあり、RPMパッケージを使ってインストールしてみたいと思います。 Installing Fluentd Using rpm Package Step0: Before Installation(まずやっておくこと) Documentに従い、Before Installing fluentdを行う。 Set Up NTP(ntpサーバーをセットアップ) 参考サイト: http://centossrv.com/ntp.shtml #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap ↓ restrict 192.168.1.0 mask 2
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
