タグ

ブックマーク / qiita.com/harukasan (6)

  • fluent-plugin-file-alternativeで出力したログをin_tailで読み込む - Qiita

    Fluentdでは出力側が詰まると、バッファがたまっていき、ある程度するとバッファが詰まり、今度はそこにForwardしているバッファが詰まり、数珠つなぎにバッファが詰まっていく。大量にたまらないときは出力側が流れ出したら、復帰してくれてとても便利だ。memoryバッファにしておくと、プロセスを再起動しないといけないときに消えちゃうので、fileバッファにするのがいまのところ王道設定である。 しかし、出力先で障害が発生し長引くと、バッファが詰まっていって回復するまでにバッファがあふれてログを取りこぼしてしまったり、いざ回復しても、今度はFluentdからバースト的にログが流れてきてまた詰まってしまったりする。また、出力先が何かの障害でログが失われてしまったとき、復旧する手段がなくて困る。 そこで、Fluentdからいろんな時に出力するときに、一旦ファイルにログを書き出して数週間ためておいて

    fluent-plugin-file-alternativeで出力したログをin_tailで読み込む - Qiita
  • dstatの便利なオプションまとめ - Qiita

    dstatは便利なオプションがたくさんあるのでみんなオレオレdstatをつくろう。 最後まで読むのがめんどくさい人向け なんか重くなってるっぽい

    dstatの便利なオプションまとめ - Qiita
  • Kibana 4 BETAファーストインプレッション - Qiita

    Kibana4のBETAがリリースされたことに、Kibana3のissueがcloseされた通知で気がついた。Kibana3のbugfixはやってくれなさそうだけど、とりあえず、Kibana4を試すことにした。 必要なもの JVM Kibana 4.0.0-BETA1 Elasticsearch 1.4.0.beta1 初期設定 Kibana4をとりあえず使ってみるために必要な項目は次の通りだ。 Elasticsearch 1.4.0.beta1をセットアップする Kibana 4.0.0-BETA1をセットアップする インデックスの初期設定を行う Elasticsearch 1.4.0.beta1を準備する Kibana4ではElasticsearch 1.4以降が必要になっている。ベータ版がリリースされているので、適当にダウンロードして起動しよう。 Elasticsearch.org

    Kibana 4 BETAファーストインプレッション - Qiita
  • OpenSSH 6.2を使って公開鍵認証もLDAPで行いたい。 - Qiita

    公開鍵認証もLDAPで行いたい。LDAPを使うと各サーバの認証情報を一元管理できるけど、公開鍵認証を行ってる場合、公開鍵も一元管理できると便利だ。OpenSSHはLDAPに対応していないので、OpenSSH-LPKというパッチを当てて対応する必要があるんだけど、OpenSSH 6.2からはパッチを当てなくても良くなったと聞いてやってみることにした。 Wheezy-backportsからDebian WheezyにOpenSSH 6.4を入れる Debian WheezyのOpenSSHは6.0なので、Wheezy-backportsからインストールする。 $ sudo echo "deb http://ftp.jp.debian.org/debian wheezy-backports main" >> /etc/apt/sources.list $ sudo aptitude update

    OpenSSH 6.2を使って公開鍵認証もLDAPで行いたい。 - Qiita
    a2ikm
    a2ikm 2014/09/12
  • FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita

    Googleの虎の子BigQueryをFluentdユーザーが使わない理由はなくなったとのこと。 Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita よし、Google BigQueryを使って超高速ログ解析だ!!!!と思っているとそこまでの道のりは長かった。 Google BigQueryの環境を構築する Google BigQueryはGoogle Cloud Platformのサービスの1つである。Google Cloud Platformには様々なサービスがあり、統合されているような、されていないような作りになっている。AWSのWebインターフェースも難しいけど、Google Cloud Platformもよくわからないので覚悟してかかろう。公式のドキュメントも記述が古いときもあるので疑ってかかろう。 プロジ

    FluentdでGoogle BigQueryにログを挿入してクエリを実行する - Qiita
  • Norikraで遊んでみた - Qiita

    Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください! Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリームをSQLライクな言語でごにょごにょできるものである。 NorikraのスライドはSlideShareにあるので是非見ておこう。 Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi この記事はおそらく一瞬で古くなると思うが、環境は次のような感じだ。 product version

    Norikraで遊んでみた - Qiita
  • 1