logrotateの設定とファイルのアクセスモードについて
忙しい人のために先にまとめログファイルのopen時のアクセスモードは os.O_WRONLY|os.O_APPEND|os.O_CREATE を指定するlogrotateの設定には nocreate を渡すlogrotateではファイルをmvした後に行う処理が書けるので、そこでアプリケーションに対してシグナルを送ることでlogrotateの処理を実装できるfluentdはログのローテートを頑張って検知している ファイルディスクリプタについてファイルを open するとファイルディスクリプタを得られます。ファイルに書き込む際にはファイルディスクリプタ経由で書き込みを行います。 Linuxシステムプログラミング 23pをちょっと長めに引用します。 ファイルを読み書きする前にはオープンする必要があります。カーネルはオープンしたファイルをプロセスごとに管理しており、これをプロセスのファ
「まずは当たり前のことをやってから言え」 - Qiita
Qiita の規約に違反しているとの指摘をいただいたので、記事を自分のブログに移しました。 「まずは当たり前のことをやってから言え」 - はったりエンジニアの備忘録 以後、規約違反のないよう気をつけて利用します。 なお、リンク切れを防ぐためにこの記事は削除せずに残してあります。 Register as a new user and use Qiita more conveniently You get articles that match your needsYou can efficiently read back useful informationWhat you can do with signing up
Fluentdの監視 ~ mackerel-plugin-fluentdを読み解く - そーだいなるらくがき帳
この記事は Mackerel プラグインアドベントカレンダー(全部CRE） の18日目です。 qiita.com soudai.hatenablog.com それでは18日目は mackerel-plugin-fluentd です。 mackerel-plugin-fluentdはデータの収集と送信、そしてバッファリングをいい感じにしてくれる Fluentd 専用プラグインです。 Fluentdって何？って人は id:tagomoris さんの記事がめちゃめちゃわかりやすいです。 読んだ多分使いたくなるので是非読みましょう。 Fluentd はデータのやりとりを管理するソフトウェアだ。デーモンとして動作する。今のところはLinux上での動作が主に想定されている*1 tagomoris.hatenablog.com github.com ちなみにこの記事のFluentdのバージョンは下記のと
はてなのサーバ・ネットワーク基盤技術を探究するインターンの紹介 - Hatena Developer Blog
Webオペレーションエンジニアの中で唯一のはてなインターン出身者である id:y_uuki です。この記事では、応募締め切り間近のはてなインターン2017の大規模システムコースを紹介します。 大規模システムコースは、はてなのサービスを支えるサーバ・ネットワーク基盤技術の開発・研究にチャレンジするコースです。 大規模システムを抱えるはてなならではの生の技術的課題を体感していただき、それらの課題の解決を通して、現場で通用する技術を学び、ウェブシステムの基盤技術に興味を持っていただきたいという思いで、このコースを開催しています。 はてなは、はてなブックマークやはてなブログをはじめとした多数のサービスを開発・運用しており、日々増加するワークロードに耐えられるようなシステム開発・運用を求められます。 システム自体が落ちずに24時間365日動き続け、ユーザーの皆様に快適にサービスを利用していただくため
SlowQuery を検知して Explain で解析し Slack へ通知 - 長生村本郷Engineers'Blog
以下に移行しました。 kenzo0107.github.io
ボトムアップでプロジェクトをモダンな開発環境に構築しなおしてる話し - おうさまのみみはロバのみみ
以前までメインで担当していたPHPなプロジェクトが最近Jenkins使ってCI回したり、 バージョン管理ツールをsvnからgitに移行していたり(まだ完全移行できてない)、 FluentdやDocker、Ansibleを使ったりとモダンな開発環境へと生まれ変わろうとしている。 全ては主導してくれている同僚H氏の活躍のおかげなのだが 実はこれらは以前からボク自身もやりたいと考えていたのだがなかなかすすめられなかった。 その原因が判明したので自戒の意味も込めてブログに書いておく。 補足情報 なお、誤解されそうなので補足するとボクがプロジェクト在籍中にすでにモダン環境への改善は行われており ボクが別のプロジェクトにアサインしてしばらくしてからそれらの成果が表に現れてきた、という感じです。 ボクが同僚H氏にとっての癌になっていたわけではないっす。 むしろH氏のアプローチを全面的に支持表明してました
Docker の Logging driver に fluentd が組み込まれるということでリリースを待ちきれずに試してみたメモ - ようへいの日々精進XP
はじめに Docker 1.8 から Logging driver に Fluentd が加わるということで心待ちにしていたら、Docker 1.8-rc3 がリリースされていたので待ちきれず試してみた。 ※本記事の内容は Docker 1.8-rc3 上で試した内容となるので、リリース版と異なる内容があるかもしれないのでご容赦下さいませ。 追記（2015/08/12 PM 5:15） 1.8 が正式にリリースされていた github.com アップデート or インストール（Ubuntu） d$ cat /etc/lsb-release DISTRIB_ID=Ubuntu DISTRIB_RELEASE=14.04 DISTRIB_CODENAME=trusty DISTRIB_DESCRIPTION="Ubuntu 14.04.1 LTS" $ $ curl -sSL https://
ドリコムを支える課金ライブラリを支えるJenkins - くりにっき
16新卒向けの勉強会でLTしたのですが、会社から許可がおりたので公開します。*1 ご査収ください。 スライド ドリコムを支える課金ライブラリを支えるJenkins from Go Sueyoshi (a.k.a sue445) 合わせて読みたい（関連エントリ） スライドの元ネタ 面白エントリ集 Jenkinsのslaveをitamaeで作った時の知見 弊社謹製のデータベースの水平分散ライブラリ Rubyで静的解析やる時のお役立ちgem fluentdでチャット連携した時のやつ 今週のgemについて 同僚のRubyKaigi2014の登壇資料 当日着ていたTシャツ ハピネスチャージプリキュア! フルグラフィックTシャツ ホワイト サイズ:L 出版社/メーカー: コスパ発売日: 2015/02/12メディア: おもちゃ＆ホビーこの商品を含むブログを見る 今期の嫁 Go! プリンセスプリキュア
Fluentd+Elasticsearch+Kibana構成で便利な、logstash形式インデックスの粒度をカスタマイズする方法 - Y-Ken Studio
fluent-plugin-elasticsearchやKibanaのデフォルトであるlogstash形式では、年月日毎にインデックスを作成されて使われることを想定されています。 これは扱いやすいのですが万能では無く、次のような状況ではパフォーマンス的な観点で、このインデックスの粒度を変更することを検討すると良いケースがあります。 粒度を細かくしたいケース（時間単位） 日毎のインデックス作成では、elasticsearchに割り当てたメモリ量を超えてしまう 粒度を荒くしたいケース（週単位/月単位/年単位） 日毎のインデックス作成では容量が小さく、日常的に検索する範囲が複数のインデックスに渡るとき Kibanaは年月日以外の粒度（時間・日・週・月・年）にも対応していますので、変更することも容易です。これは次の2つの設定変更で適用できます。 ログ収集を行うElasticsearchへ流し込む、
Fluentdとはどのようなソフトウェアなのか - たごもりすメモ
Fluentd というソフトウェアがある。日本国内ではそこそこ話題になってきたが、何ができるのか、何に使うと嬉しいのか、何に使えるのか、という点について詳細をよく知らないという人もおそらくまだ多いことでしょう。 なので、簡単にまとめる。 http://fluentd.org/ なお以下の個別項目ごとに書いていくが、その手前にまとめを置いておくので忙しい人はそれだけ読むとよい。インストールや設定については導入部分については日本語の記事はもう多くあるので、触れない。 概要 できること ログの収集 センサデータ等の収集 汎用データ処理プロセッサとして 頻出ユースケース ログの収集 データの集約 簡単なリアルタイム集計 ソフトウェアとしての特徴 コア プラグイン 安定性 性能 開発体制 コミュニティ ぶっちゃけどうなの？ まとめ 現時点で、複数の場所に分散したデータや常に増え続けるデータの安全な転
ruby 2.0.0-p195 + fluentd v0.10.35 + msgpack v0.5.5 の組合せが素敵という話 - たごもりすメモ
fluentd v0.10.35 が出ましたね！ https://rubygems.org/gems/fluentd で、端的に申し上げまして fluentd をお使いの皆様は以下の組合せで使うのがおススメです。 Ruby 2.0.0-p195 Fluentd v0.10.35 MessagePack v0.5.5 なぜかというと以下のようなすばらしい利点があるからですね。 Ruby 2.0.0 でfluentdを走らせると大変高速 2.0.0 は each とかを回すときに非常に高速になるような改良が入っている 1.9.3 向けには funny-falcon patch として知られていたもの rvm を使ってビルドしていたrubyだと知らずに当たってるかも これが大量のメッセージに対してループが回りつづけるFluentdに超ハマる 手元計測で生の 1.9.3 の倍ちょっと高速 Ruby
fluent-plugin-esper構想概略 - たごもりすメモ
Fluentd Casual Talks #2 で聞いた fluentd + esper によるCEP実現の話が非常に素敵な感じで、自分の手元でもああいう感じで書きやすく投入しやすいストリームクエリがやりたくてしょうがないお年頃なので、以下のようなものを作ろうかと考えている。勢いあまって(まだ1バイトも書いてないのに) the RubyKaigi 2013 のCFPにsubmitしてしまった。通ったら何がなんでも2ヶ月くらいで書いて動かさないといけない。 ということで以下のようなものを作ろうかと考えている。この内容は Fluentd Casual Talks #2 の懇親会でFluentdコミッタ陣と @angostura11 さんとで頭をつきあわせてゴニョゴニョ話していた内容で、100%自分で考えたものでないことは最初に記しておく。だいたいそもそものアイデアは @angostura11
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Fluentd, mongoDB, Kibanaを利用したはてなブログABテストの事例