10年もののメトリクス収集機構をリプレースした話 | GREE Engineering
インフラのいわほり（@egmc）です。 久々のエントリとなりますが、今回はインフラのMonitoring Unitとして長期的に取り組んでいた監視システムのリプレースについてのお話になります。 背景含めて長いエントリとなりますが、監視システムの長期的な運用の考え方、リプレースにあたって考慮した点などなにがしか参考になる点があれば幸いです。 何を移行したか？ グリーのインフラ環境では冒頭で述べたMonitoring Unitというインフラ横断で監視システムを提供するチームが商用環境向けの共通システムの提供/運用を行っています。 監視システムにおけるリソースモニタリングシステムの構成として、オンプレ環境ではGanglia、AWS環境ではPrometheus/Grafanaスタックを採用、運用してきました。 規模感としてはざっくりと監視対象ノードがオンプレサーバが約1500台、AWS側は台数変動
Ganglia Monitoring System
Ganglia is an open-source scalable distributed monitoring system for high-performance computing systems such as clusters and Grids. It is carefully engineered to achieve very low per-node overheads and high concurrency. Ganglia is currently in use on thousands of clusters around the world and can scale to handle clusters with several thousand of nodes. Gmond Python module for GPUs If you are runni
CfnCluster の標準モニタリング環境「Ganglia」の概要と簡単な使い方 | DevelopersIO
CfnCluster の標準設定では、モニタリングシステムとして Ganglia がインストールされます。老舗ともいえる Ganglia ですが、その特徴と、使い方を簡単にご紹介します。 CfnCluster での Ganglia 最初に画面をみてただいたほうが早いので、まずは CfnCluster を使ってクラスタを起動してください。 Getting started with CfnCluster — CfnCluster 1.5.1 始めてみよう CfnClusterでHPCクラスター ｜ Developers.IO 今回この記事を書くにあたって作成した環境の構築手順は、最後のほうに記載しましたので参考にしてください。 そうして cfncluster コマンドからクラスタを起動すると、起動時に下記のようなメッセージが出力されるかと思います。 $ cfncluster create hp
MySQLのmetricに関する話 | GREE Engineering
こんにちわ。せじまです。さいきん、ジム用に左右独立型スポーツモデルのBluetoothイヤホン買ったのですが、あまりの快適さに、ジムに通うモチベーションが５割増しになりました。 はじめに innodb_thread_concurrency について書こうかと思ったんですが、まずはその前に MySQL の metric の話から入ったほうが良いかなぁと思ったので、今回は metric の話を書こうと思います。はじめにお断りしておきますが長くなります。 弊社では７年以上前から、 MySQLのサーバ一台あたり（OS側のも含めると）200-300 以上の metric を だいたい15秒間隔で記録しています。最近はSSDなども使ってますが、むかしはHDDにmetricを保存していました。例えばMySQLのサーバ一台分のmetric表示した画面をキャプチャすると、次のような感じになります。 ※画像は
gangliaでGPUの情報を監視しようとしてえらい苦労した話 - 脳汁portal
gangliaでGPGPUサーバのデータを監視しようとしたのですが、はまりポイントが多数あって苦労しました Gangliaのインストール 1. Master server ### install packages sudo apt-get install ganglia-monitor rrdtool gmetad ganglia-webfrontend ps -eaf | egrep "gmon|gmeta" ganglia 14057 1 0 06:05 ? 00:00:00 /usr/sbin/gmond --pid-file=/var/run/ganglia-monitor.pid nobody 14071 1 0 06:05 ? 00:00:00 /usr/sbin/gmetad --pid-file=/var/run/gmetad.pid ss -lntp | egrep "8
Gangliaをrrdcachedで爆速にする : アジャイル株式会社
状況確認 ちなみに RRD への Read/Write が原因でパフォーマンスに問題がでている場合、"I/O処理待ち" 状態になっているはずです。 Gangliaでシステムモニタリング と同様のインストール手順を行った場合、Ganglia-Server 自体もメトリックの収集対象になっているはずですが、I/O処理待ち状態が常態化すると cpu_wio の値は以下のようになります。 ※監視対象でない場合 vmstat や sar コマンドにてI/O待ち状態にあるか確認できます。 iotop による確認 I/O処理待ちである事が確認できた場合、どのプロセスのディスクI/Oによるものか辺りを付ける事ができればなお良いでしょう。 /proc/<PID>/io から I/O情報を取得/解析するといった方法もあるようですが、top コマンドのI/O版といれる iotop コマンドがあるので、これが利用
AWS News Blog
Top Announcements of the AWS Summit in New York, 2023 It’s probably no surprise that generative artificial intelligence and machine learning were the stars of the show, but there were several other bright lights from the day-long cloud conference. New — Deliver Interactive Real-Time Live Streams with Amazon IVS Live streaming is becoming an increasingly popular way to connect customers with their
NVIDIA の GPU 使用率を Ganglia で監視する - biochem_fanのブログ
NVIDIA の GPU の使用率を、Ganglia で監視するようにした。 GPU の状態は nvidia-smi コマンドで取得できる。dmon モードで起動すると、連続的に1エントリ1行の形式で出力してくれる。 nvidia-smi dmon -s pu -d 5 # gpu pwr temp sm mem enc dec mclk pclk # Idx W C % % % % MHz MHz 0 64 36 0 0 0 0 3004 745 1 68 36 94 4 0 0 3004 745 0 64 37 0 0 0 0 3004 745 1 64 37 0 0 0 0 3004 745 0 21 37 0 0 0 0 324 324 1 21 37 0 0 0 0 324 324 0 21 36 0 0 0 0 324 324 1 21 35 0 0 0 0 324 324 .
etsy/logster - GitHub - Parse log files, generate metrics for Graphite and Ganglia
Logster - generate metrics from logfiles Logster is a utility for reading log files and generating metrics to configurable outputs. It is ideal for visualizing trends of events that are occurring in your application/system/error logs. For example, you might use logster to graph the number of occurrences of HTTP response code that appears in your web server logs. Logster maintains a cursor, via a t
EC2 Discovery
Ganglia and EC2 An important feature of Ganglia is the use of multicast to allow the same simple configuration file to be used across all servers in a cluster. Multicast discovery also means nodes are dynamically added and removed without any further configuration updates. This is a fantastic feature of Ganglia, however none of it works in EC2 or other cloud environments because UDP multicast is n
Amazon EMR 2.x and 3.x AMI versions - Amazon EMR
AWS is updating the TLS configuration for all AWS API endpoints to a minimum version of TLS 1.2. Amazon EMR releases 3.10 and lower only support TLS 1.0/1.1 connections. After December 4, 2023, you won't be able to create clusters with Amazon EMR 3.10 and lower. If you use Amazon EMR 3.10 or lower, we recommend that you immediately test and migrate your workloads to the latest Amazon EMR release.
CVE-2013-1770:ganglia-web: Cross-site scripting (XSS) vulnerability in views_v...
cpe/search/results;jsessionid=60594BBD418F5CC4DC53B05DDD91E8B7?searchChoice=name&searchText=cpe%3A%2Fa%3Aganglia%3Aganglia-web%3A3.5.7&includeDeprecated=true&page_num=0&cid=1" title="cpe:/a:ganglia:ganglia-web:3.5.7" id="j_id241:0:0:0:0:j_id248" target="_blank">cpe:/a:ganglia:ganglia-web:3.5.7</a>
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Integrating Ganglia with rrdcached · ganglia/monitor-core Wiki · GitHub
【Hadoop】Gangliaによるクラスター監視環境構築【Docker】 | A_Resas_StudyBlog
GitHub - cboggs/gmond-influxdb-bridge: Simple bridge app to convert gmond output to Influxdb-friendly data points
INTEL コード & ダウンロード
GitHub - ganglia/chef-ganglia: Chef Cookbook to Install and Configure Ganglia