Prometheusによる数百台規模のモニタリングで直面した問題について | GREE Engineering
インフラの反田 (@mtanda) です。 GREEでは、多くのサービスをAWS環境で運用しており、それらサービスのモニタリングシステムとしてPrometheusを利用しています。 Prometheusを導入してから約2年がたち、1台のPrometheusで数百台規模のインスタンスをモニタリングするなかで、さまざまな問題に直面しました。 それら問題の原因を分析し、設定や利用の仕方を改善することで、ある程度安定して運用できるようになりました。 これらの知見が少しでもお役に立てばと思い、ここで共有いたします。 なお、対象とするPrometheusのバージョンは1.xです。Prometheus 2.0では、これら問題のほぼ全てに対して改善されています。そのため、2.0でどういった点が改善されているかを知るためにも有用だと思います。 Prometheusのストレージ実装の基礎知識 Promethe
SNMPを利用したモニタリング - Qiita
はじめに SNMPを利用したモニタリングは昔から行われていて MRTG Munin Cacti Zabbix などなど、いくらでもツールがありますよね。 でもなんか最近はやりのOSSなモニタリングツールで気軽に拾いたい！とか思ったので試してみようと思った次第です。 具体的には collectd, fluentd, prometheus を比べてみました。 collectd, fluentd はデータをルーティングするものなので、データストアとしてgraphite, influxdbなどを利用することを想定しています。 がその設定はとりあえずここでは関係がないので記載していません。 collectd Pluginで対応可能です。 設定は LoadPlugin snmp <Plugin snmp> <Data "dataname"> Type "tipename" Table true Ins
prometheusでアラート時と復旧時の通知内容を切り替える - Qiita
TL;DR 復旧時のslack通知textがアラート時と同じでつらい slack通知にlabelsが全部入るのもつらい alert ruleのANNOTATIONに好きなプロパティ入るので､alertmanagerのtextにif書いてそのプロパティを呼び出した はじめに アラート通知にアラート名だけでなく､ちょっと詳細情報とか文言を追加したくなる｡ それにはalert ruleのANNOTATIONSで指定したsummaryとかがtext: '{{ .CommonAnnotations.summary }}'みたいに指定するとslackに流せることが分かる｡ また､send_resolved: trueをalertmanager設定で指定するとアラートから復旧した時はslackで通知してくれる｡ Alerting rules | Prometheus Configuration | Pr
Console templates | Prometheus
Getting startedInstallationConfigurationConfigurationRecording rulesAlerting rulesTemplate examplesTemplate referenceUnit Testing for RulesHTTPS and authenticationQueryingBasicsOperatorsFunctionsExamplesHTTP APIRemote Read APIStorageFederationHTTP SDManagement APICommand LineprometheuspromtoolMigrationAPI StabilityFeature flags VisualizationExpression browserGrafanaConsole templates InstrumentingC
Ansible の unarchive でリモートのアーカイブの中から1つのファイルだけ展開する - Qiita
- unarchive: src: https://github.com/prometheus/node_exporter/releases/download/v0.13.0/node_exporter-0.13.0.linux-amd64.tar.gz dest: /usr/local/bin/ creates: /usr/local/bin/node_exporter remote_src: yes owner: root group: root extra_opts: - --strip-components=1 - node_exporter-0.13.0.linux-amd64/node_exporter curl -s http://shs-opr:8080/next/thirdparty/prometheus/node_exporter-0.13.0.linux-amd64.
AbemaTVにPrometheusというモニタリングシステムを導入した話
この記事はCyberAgent Developers Advent Calendar 2016 24日目の記事です。23日目はdekatotoroさんの「Apple TV – tvOS入門」でした。 こんにちは、AbemaTVサーバサイドエンジニアのギアです。 去年は新卒のiOSエンジニアとして、「ReactiveCocoaとMVVMモデル」という記事を書きましたが、今年はサーバサイドに関することを書きます。 はじめに この前にAbemaTVはモニタリング・アラートのため、主にStackdriver, Bugsnag, StatusCakeというサービスを使っています。しかし、Stackdriverはデフォルトである程度のGCP (Google Cloud Platform) 上のリソースに対するメトリクスしかありません。各マイクサービス間の通信やサービスのカスタマイズメトリクスなどのアプ
【入門】PrometheusでサーバやDockerコンテナのリソース監視 | Pocketstudio.jp log3
新しい監視ツールとして開発途上の Prometheus 概要と、インストール・設定方法、そして複数サーバのCPUやメモリ情報を参照したり、Docker コンテナ情報の取得方法、そしてアラートの確認の仕方を調べました。実際使い始めるまで少々とまどった所もあり、Prometheus を知りたい方、使いたい方向けに、ここで共有します。 ■ Prometheus とは？ Prometheus（プロメテウス）は、オープンソースのサービス監視システムと時系列データベースであり、要は監視ツールです。先月末にバージョン 0.1.0 が公開され、目下開発が進んでいます。開発は、音楽のソーシャル・プラットフォームを展開しているSoundCloud社によって2012年から行われ、数千ものサーバを管理することが目的でした。現在はGitHub上で公開されています。開発言語は Go です。 ■ これまでの監視ツールと
監視ツール Prometheus 概観 / Prometheus Overview
監視ツールPrometeus (https://prometheus.io/ ) について調べた概観です。
prometheus で雑に始めるサーバ監視 - Qiita
概要 prometheus をつかって個人サーバを監視するのを雑に始める。 使用するもの prometheus docker prometheus はデータを pull 型で収集するアプリケーションで、メトリクス取得のために exporter とアプリケーションをそれぞれ必要に応じて利用する必要がある。prometheus および expoter は自前でインストールするといろいろ面倒なので docker のコンテナを使って構築する。ここでは grafana は扱っていない。 今回自分が構築した環境は下記のとおり。 Ubuntu 16.04.1 LTS Docker 1.13.0 prometheus 1.5.0 内容 最初にここでやる全部の作業としてまとめを記載して、あとでそれぞれ詳細を書く。 まとめ ここでは下記メトリクスが取得できるようにする CPU やメモリなどの基本的な項目 do
Prometheus - Monitoring system & time series database
«Even though Borgmon remains internal to Google, the idea of treating time-series data as a data source for generating alerts is now accessible to everyone through those open source tools like Prometheus [...]» — Site Reliability Engineering: How Google Runs Production Systems (O'Reilly Media) Open Source Prometheus is 100% open source and community-driven. All components are available under the A
次世代監視の大本命！ Prometheus を実運用してみた - Qiita
こんにちは！freeeでインフラゾンビをやっている @sugitak です。ゲームではレベルを上げて物理で殴る派です。 freee ではたまにインフラエンジニアの数が減るのですが、その減ったインフラエンジニアはインフラゾンビへと進化し、社内を闊歩します。インフラゾンビは主に開発チームに所属して、アプリっぽいインフラの仕事をインフラからアプリ側へと持っていきます。デプロイとか、Dockerとか、Jenkinsとかの、いわゆる DevOps 系のところですね。こうすることで開発者は手を出せるものの自由度が増えるし、インフラはより本来のインフラとして純度を上げていける、 so, win-win ってわけです。 さて、そんなわけで監視です。freee Engineers Advent Calendar 2016の9日目の記事として、 Prometheus による監視が最高なのでみんなもっと使おうと
「Prometheus Casual Talks #1」に参加して Prometheus の運用事例を聞いてきた - kakakakakku blog
6/14 に開催された「Prometheus Casual Talks #1」に参加してきた．既に Prometheus を1年以上運用してる話などもあって，ハイレベルな話を聞くことができた．勉強会の後に実際に Prometheus を動かしてみたり，サンプルで Exporters を実装してみたりしてからブログを書こうと思っていたら，業務的にバタバタして，気付いたらブログも書かずに1週間たってた…！今さらだけど参加レポートは書いておこうと思う． prometheus.io connpass.com Hadoop, Fluentd cluster monitoring with Prometheus and Grafana / @wyukawa 元々 Google で SRE を担当してたエンジニアが SoundCloud 社に JOIN して実装している プル型 Zabbix Agent
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[Bug] Template variables from Prometheus have extra escape characters added · Issue #6888 · grafana/grafana
GitHub - prometheus-community/windows_exporter: Prometheus exporter for Windows machines
Prometheus+alertmanagerをインストールしてみた | Tech-Sketch