RRD ファイルのデータを InfluxDB に移行する - Qiita
RRDtool を使っていて、InfluxDB に乗り換えるときに、既存のデータを引き継ぎたいことがあると思います。そんな時に RRD ファイルからデータを抽出して、LineProtocol 形式に変換し、InfluxDB にインポートする方法です。 RRD ファイルの構成をみる rrdtool info (ファイル名) コマンドで、RRD ファイルの構成を確認することが出来ます。MRTG 等と連携して使っていると、RRD ファイルにどんなデータが格納されるかは特に意識していないと思いますが、その場合でも下記のような内容で RRD ファイルが生成されています。 $ rrdtool info localhost_2.rrd filename = "localhost_2.rrd" rrd_version = "0003" step = 300 last_update = 1515986183
Umbrella rrdtool resize して、cactiのデータ保存期間を延長する
ストレージサイズが大きくなった昨今では、より大量のデータを保存してもコストは大したことがない。 せっかくなので長期にデータを保存し後で眺めてニヤニヤしたい。 cactiではrrdにてデータを保存しており、古いデータから上書きされ、粒度の大きなデータに置き換えられる。もっとも大きな粒度のデータも指定された総数を超えたものから順に上書きされる。 rrdでは指定された保存期間の中でデータをリングバッファ状に保存しており、 データサイズが際限なく膨れ上がることがない。 さらにデータの丸め込みに対応しており、より古いデータは、より粒度の大きなものを残すことでデータサイズの肥大化を抑えている。 cactiの初期値では下記の期間/粒度で保存するrrdファイルを生成する 5分毎のデータを2日2時間30分毎のデータを14日14時間2時間毎のデータを64日14時間24時間毎のデータを2年67日 cactiの設
時系列DBって結局どれがいいんだっけ #TSDB - weblog of key_amb
※4/6 その後調べた情報などを記事末尾に追記 前提となるニーズ サーバの負荷情報とか、アクセス状況のような KPI を取得・保存し、可視化(参照してグラフ化)したい。 リアルタイム性が要求される。5分以上前のデータしか見れませんみたいなのはお呼びでない。 古いデータはそんなに精度は気にしないけど、ロングスパンで俯瞰して見れたら便利。 最近はビッグデータ環境の時系列データ解析もビジネスではけっこうニーズがありそうだけど、そっちはもう少し要求が多そう。 ここでは考えないことにする。 選択肢になりそうなもの 古きよき RRDtool Elasticsearch + Kibana Graphite + Grafana InfluxDB + Grafana 等 Zabbix 他に、現実的には SaaS に任せるという手段もあるだろうけど、そう言うと話が終わってしまいそうなので、ここでは考えないこと
Gangliaをrrdcachedで爆速にする : アジャイル株式会社
状況確認 ちなみに RRD への Read/Write が原因でパフォーマンスに問題がでている場合、"I/O処理待ち" 状態になっているはずです。 Gangliaでシステムモニタリング と同様のインストール手順を行った場合、Ganglia-Server 自体もメトリックの収集対象になっているはずですが、I/O処理待ち状態が常態化すると cpu_wio の値は以下のようになります。 ※監視対象でない場合 vmstat や sar コマンドにてI/O待ち状態にあるか確認できます。 iotop による確認 I/O処理待ちである事が確認できた場合、どのプロセスのディスクI/Oによるものか辺りを付ける事ができればなお良いでしょう。 /proc/<PID>/io から I/O情報を取得/解析するといった方法もあるようですが、top コマンドのI/O版といれる iotop コマンドがあるので、これが利用
Kyoto.pm 05で自作のサーバリソース可視化ツールのはなしをしました - ゆううきブログ
nekokakさんを呼んで、7/13(土)にKyoto.pm 05 Tech Talkを開催します！！！！！ - $shibayu36->blog; Kyoto.pm 05で自作のサーバリソース可視化ツールについて20分くらいしゃべりました。 簡単にいうと、既存のサーバリソース可視化ツールのサブシステムとして個別に実装されているであろうRRDtool周りの処理を汎用化したものです。 Monitorelと呼んでます。 まだちゃんとしたプロダクトにはなっていません。 Proof Of Conceptです。 スライドはこんな感じです。 なにがRRDtoolだ。 トーク感想 今日はJPA派遣講師としてnekokakさんに来ていただいていました。 分散型Job QueueシステムのClutchのお話でした。 どうもありがとうございました。 あとTengとかQudoとかいつもお世話になっています。 そ
RRDtoolの世界
RRDtoolの世界にようこそ 発表資料を格納していたサーバが天に召されたので、置き場を変更しました。 なおkeynoteで資料を作成しましたが、keynoteのデータは自宅のマックを更改した際にロストした模様です(泣) RRDtool 1.0系の説明です。RRDtoolを使う 1.1版(pdf/1.2MB) もとは社内有志の発表ネタで作成し、それをCBUG(西東京BSDユーザーズグループ)の 15th meeting(2005.6.25)で公開したものです。 RRDtool1.0系のオプションをひととおりチェックしています。 ライセンスはクリエイティブコモンズCC BYに従います。 RRDtool 1.2系の説明です。RRDtool 1.2系を使う 1.0版(pdf/1.6MB) 先の資料を改版したものです。JUS(日本UNIXユーザ会)の2005.10.14に開催された勉強会
可視化ツールに保存される時系列データの正確さ（RRDtool vs Graphite） - Technically, technophobic.
時系列データの可視化で使われる古参のツールに、RRDtoolというものがあります。これはCactiとかMuninとかで使われているので（Zabbixはなんか別らしい）、名前に聞き覚えはなくてもこういう感じのグラフはみたことある、という人もけっこういるでしょう。 が、最近は見た目のイケてなさを理由に、Graphite系のやつを使うひとが多いと思います。 そんな感じでGraphiteが優勢な世の中ですが、RRDtoolの方が正確だよ、という記事を見つけたので、読んで調べたことをメモ。 現実は甘くない、的な前置き A time series is most often described as a sequence of (time, value) tuples [1]. The most naive method of recording a time series is to store t
RRDtoolのPrediction - PolyPeaceLight
RRDtoolでも異常検知機能が備わっているので、とりあえず勉強のために翻訳しておく。 Aberrant Behavior Detection with Holt-Winters Forecasting RRDtoolでは、Holt-Wintersの指数平滑化法を使ってるぽい。 そういえば、@kzk_moverも .@muddydixonさんのfluent-plugin-anomalydetectに触発されて、未来の値評価機を作り始めた… > URL 2013-01-28 02:14:05 via YoruFukurou とかいって、こんなのを作ってる (paperはこちら )。 翻訳は以下 Holt-Winters 予測での異常振舞検知 アグリゲート関数に加えて、RRDtoolでも、データの平滑化(Holt-Winters 予測アルゴリズム)、信頼区間、時系列データソース中の異常振舞にフ
あなたの知らないRrdtool
autotraderbackground115433.jpgautotraderbackgroundaction.docxikirkton
GrowthForecastに --kibanize オプションつけた - たごもりすメモ
要するにおまえらは黒っぽいグラフならいいんだろ？ ということで、そのような欲望を現実のものにするためのパッチを書いてpullreqを出しました。 https://github.com/kazeburo/GrowthForecast/pull/63 このグレートなパッチにより --kibanize オプションをつけて起動したGrowthForecastの画面がこのようになります。 色指定などは全面的にこちらから頂きました。グレートなエントリです。 rrdtoolは癒し - 桝原翔市的博客 ※ なお全体的にやっつけのため、Twitter BootstrapがゴニョゴニョやっていてCSSで簡単に色指定を上書きできない場所などが白いまま残ってたりします。みんなで頑張って更に格好よくしよう！
rrdtoolは癒し - 桝原翔市的博客
この頃はGraphiteやらInfluxDBがrrdtoolに取って代わられつつあるんでしょうが、rrdtoolのコマンド引数はいじってみると意外と楽しいものです(人によりますが)。このあいだ "rrdtool 誰が一番かっこいいグラフ描けるか選手権"— 桝原翔市 (@shoichimasuhara) April 4, 2014 とか思いつきで言いましたが、とりあえず序の口というか前座というか、とりあえずやって見るだけやってみようと思います MRTG とりあえず書くならこんな感じ MRTGのグラフを彷彿とさせますね。コマンドラインはこちら rrdtool graph shoichi.example.com_loadavg5_1.png \ --title "load average 5 of shoichi.example.com" \ --start end-1w --end now \
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Integrating Ganglia with rrdcached · ganglia/monitor-core Wiki · GitHub
GitHub - focuslight/focuslight: Lightning Fast Graphing/Visualization, built on RRDTool
DDNet Server Statistics with ServerStatus, RRDtool and Nim · HookRace Blog
GitHub - kerolasa/outlier
Gathering and Charting Temperatures using RRDTool and Highcharts
GitHub - sonots/growthforecast-tuning: GrowthForecast/RRDtool チューニング秘伝の書