fluentd で集めたログを Splunk で可視化する - 技術ノート
ウェブアプリケーションのログ収集には fluentd を使うとして、集めたログを検索したりグラフ化するには、別途システムを組む必要がある。 最近だと、オープンソースの Kibana というのが流行っているようで、公式ページにも紹介がある。 Free Alternative to Splunk Using Fluentd | Fluentd ここで比較対象とされている "Splunk" だけど、これを fluentd と組み合わせて使っている人は多くないようなので、軽く紹介しておきたい。 Splunkとは？ 商用のログ収集＆検索エンジンとしてはメジャーな製品で、 独自のクエリ言語でログを検索、加工、集計、グラフ化する あらかじめダッシュボードを作っておいてPDFでレポートを送る 検索条件を設定しておいてアラートを飛ばす といったことが出来るようになっている。 詳しくは公式のビデオでも。 Sp
大規模インフラの監視システム その2 | GREE Engineering
こんにちは。グリーのmdoi(@m_doi)です。 今回は、グリーの監視システムについて説明したいと思います。以前、こちらの記事にて、リソース監視システムの説明をさせて頂きましたが、死活監視やログ監視については語られなかったので、気になっていた方も多いと思います。ということで、今回は、グリーのインフラにおける死活監視やログ監視、アラート通知システムを紹介したいと思います。 何を使っているの？ グリーでは、死活監視にNagiosを使用していました。監視システムの中では、かなり有名なソフトウェアですから、監視システムの構築に使用したことがある方も多いのではないでしょうか。プラグインも豊富に存在するので、様々な監視を行うことができます。死活監視は、このNagiosの機能をそのまま利用し、ログ監視は、Nagiosと独自に作成したエージェント及びログフィルタを連携させて行っていました。 全体のシステ
PHPプログラムを解析して何処が重いか？がブラウザ上で簡単に分かる「XHProf」:phpspot開発日誌
PHPプログラムを解析して何処が重いか？がブラウザ上で簡単に分かる「XHProf」 2009年03月25日- XHProf Documentation (Draft) PHPプログラムを解析して何処が重いか？がブラウザ上で簡単に分かる「XHProf」。 通常、PHPでのプロファイリングというと、Xdebugでファイルを吐き出して、WinCacheGrindやKCacheGrindで読み込むというのが定番です。 ですが、この方法だと、ファイルを吐き出したファイルをGETして、ソフトに読み込ませる、というちょっと面倒な手順が必要でした。 XHProf を使えば、ブラウザ上で、プロファイリングが出来るみたいです。 XHProfの特徴 まず、セグメントごとの実行時間やメモリ利用の状況なんかがブラウザで見れます。 プログラムの構造を把握するのにも使えます。 プロファイリングの階層表示 ２つのプロファ
サーバ上で動いてるどのphpが重いか？を調べられる「phptop」:phpspot開発日誌
サーバ上で動いてるどのphpが重いか？を調べられる「PhpTop」。 「サーバ監視に超使える〜topコマンドのまとめ」というエントリで様々なtopコマンドを紹介したのですが、phptopなるものを新たに発見したのでご紹介。 具体的に出来ることは、今サーバで動いているものを指定した期間で、もっともアクセスが多いphp、CPUを多く消費しているphp、メモリを多く使っているphpといったものを降順にソートできるというものです。 サーバ上で多くのphpが動いており、どうも負荷が高いけどどれが重いのかよくわからないという場合に使えます。 top コマンドでは httpd が動いてるぐらいしか分からないので phper な方で負荷にお悩みの方は使ってみるのもよいかも。 たとえば、 $ phptop -t 15 -s mem のように実行すると、15分以内で、メモリを多く使っている順にソートが可能。
サーバ監視に超使える〜topコマンドのまとめ:phpspot開発日誌
サーバ監視に超使える〜topコマンドのまとめ サーバを運用しているとよく使うtopコマンドですが、標準のtop以外にも色々便利なものがあるのでまとめてみました。 ボトルネックといえば、ネットワーク、ディスクIO、スワップ、CPU、メモリといったものが関連しますが、ツールで視覚化することでより分かりやすい対策がとれますね。 htop こちらも、通常のtopよりもさらに多数の情報を表示してくれるツール。 CPUやメモリの状態が視覚的にグラフで表示されていたり、複数CPUがある場合もそれぞれに利用率を表示してくれてわかりやすいです。 pstreeで表示するようなツリー+topコマンドのような表示も t を押せば切り替えられます。 公式サイト上にある128コア積んだマシンのhtop結果が面白い。 次のようにすべてグラフで表示されているため、128コアあったとしても瞬時に負荷が把握できますね。 io
大規模インフラの監視システム | GREE Engineers' Blog
こんにちは。インフラチームの ebisawa です。 今回はグリーのインフラにおける各種機器の監視がどのように行われているのかご紹介させていただきたいと思います。一般にサーバの監視というと、システムダウンを検出するための死活監視を意味する場合と、ネットワークトラフィック等のモニタリングのことを意味する場合とがあります。今回の監視は特に後者についてのお話です。大規模なインフラの監視には、やはり特有の課題があります。 どんなツールを使っているのか グリーではサーバの各種リソース使用状況をモニタリングしてグラフ化するためのツールとして、Cacti を利用しています。Cacti は、大変有名なツールなので皆様ご存知かと思いますが、バックエンドの RRDtool で作成したグラフを閲覧するための使いやすいユーザーインターフェイスを備えています。 http://www.cacti.net/ ツールの使
ニコニココメントサーバーにおけるメモリ使用量増大問題の調査と対策 - ドワンゴ 研究開発ブログ
はじめに コメントサーバーは、ニコニコ関連サービスのコメントを司るサーバーである。本稿は、ニコニコ広場で起こったコメントサーバーメモリ使用量増大問題について、我々コメントサーバー担当が行った調査と対策のまとめである。 今回のメモリ増大問題の解決にあたり、「仮説を立てる + 計測する→修正する→確認する」というパターンを繰り返した。このパターンは、ソフトウェアの様々な問題を調査するのに適用できる、基本パターンである。 コメントサーバー概要 コメントサーバーについて簡単に概説する。 コメントサーバーはニコニコ関連サービスのコメントを管理するサーバーである。基本的な機能は、新しいコメントの保存、およびコメントの出力である。ニコニコサービスのユーザーがコメントサーバーに直接触れることはなく、ニコニコのプレイヤーがコメントサーバーと直接やりとりを行う。ニコニコ動画の例でいうと、コメントサーバーを使用
＠IT：Linuxで動く便利ツール［Nagios］
概要 Nagiosは、ホストやそのホストで稼働しているサービスを定期的に監視して、異常を検知した場合には管理者にメールなどで通知を行う統合監視ツールです。元々は「NetSaint」という名称で開発が行われていましたが、開発終了に伴い、後継としてNagiosの開発プロジェクトがスタートしました。 Nagiosは、稼働監視をプラグインが行い、Nagios本体はプラグインのスケジューリングなどを行うという構造になっています。従って、ホストなりサービスを管理する場合は、それに対応したプラグインが必要となります。Nagiosのプラグインは30種類以上用意されていますが、独自に開発することも可能です。その方法は、NagiosのWebサイトで公開されています。 プラグインは、対象を外部から監視するため、不定期なイベントを監視することはできません。そのため、管理対象のホストにインストールして、Nagios
Hinemos | Hinemos
Open Source Conference 2024 Tokyo/SpringにてHinemosをご紹介！
Muninをカスタマイズして表示されるグラフの種類を増やしてみる - ネットワーク監視
以前にGIGAZINEで紹介した「Munin」はMRTGに比べて劇的にインストールが簡単、なおかつシステムを監視していろいろな値を取得してグラフ化してくれるわけですが、今回はMuninで有効化されていないプラグインを有効にする方法と、有効化されているのにグラフが全く表示されない場合の対処方法、それから追加でプラグインを使う方法です。 というのも、どういうわけかGIGAZINEを新サーバにした途端にMySQLのグラフが消えてしまったため。どうやらMySQLプラグインへのシンボリックリンクがなくなっているだけでなく、値が正常に取得できていないため、RPMによるインストール時に最初から外されてしまった模様。同様にApache関連のMuninプラグインも有効化されていないようです。 というわけで以下、Muninにグラフを追加する方法あれこれ。 ◆Muninのインストール まずはおさらい。今回はRe
NagiosからforkしたIcingaをインストールしてみた - harry’s memorandum
昨年Nagiosコミュニティの一部のグループが、NagiosからforkしてIcingaプロジェクトを発足させました。 Icinga faqによるとforkした理由は「開発ペースが遅く提案も受け入れてくれないから分岐しまーす」ということだそうです。 In contrast, the core of this system – the Nagios software itself- is maintained by a single developer in the United States and hence is developed at a slower pace. The Nagios community has previously attempted to clear this bottleneck with suggestions to broaden the develop
Amazon EC2も監視できるオープンソースのモニタリングツール「Opsview Community 3.9」公開 | OSDN Magazine
Opseviewは英Opseraが出資するオープンソースプロジェクト。物理マシンおよび仮想マシン、そしてそれらが混在するハイブリッドなIT環境を監視できるモニタリングソフトを提供する。「Nagios Core」「Nagvis」「Net-SNMP」「PRDtool」などのオープンソースソフトウェアを統合したもので、完全な分散/マルチテナントアーキテクチャをもち、ビジネスプロセスへの影響を把握できる。ライセンスはGPL v2。 最新版では、RESTインターフェイスを持つ最新の設定APIを提供する。REST API経由で設定変更やデータのインポート/エクスポートが可能で、モニタリングプロセスをさらに自動化できるという。また、パフォーマンスを監視するビューポイントも強化した。 「Amazon Elastic Cloud（EC2）」「Amazon Simple Storage Services（S3
サーバーを多彩な手法で監視 Nagios
Nagiosは，サーバーの稼働状態を監視するソフトウエアである。システムの異常を検知すると，それを管理者にメールで報告する機能などを備える。Webインタフェースによるステータス閲覧やレポート出力もできる。 サーバーの稼働状況を監視するのは，システム管理者の役目である。システム管理者は，サービス停止などの異常をいち早く見つけ，それに迅速に対処しなければならない。しかし，24時間365日，常にサーバーを監視するのは大変である。特に複数台のサーバーを管理している場合はなおさらであり，監視漏れなどが生じやすい。きちんと管理するには，複数台のサーバーを常時一括監視できる「監視ソフト」の導入が望ましい。 Nagiosは，有償ソフトに匹敵するほどの充実した機能を持つ，フリーの監視ソフトである。基本機能は，サーバーにPINGを飛ばしての「死活チェック」と，クライアントとしてサーバーにアクセスして稼働状況を
実行中のアプリケーションを外から観察するコマンド。 - こせきの技術日記
strace システムコールをトレース。カーネルと何を話しているか。 strace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 straceを使ったデバッグ - SourceForge.JP Magazine : オープンソースの話題満載 Linuxカーネルの作り出す世界 − ＠IT自分戦略研究所 - ふつうのLinuxプログラミング 青木峰郎 システムコールとライブラリ関数 − ＠IT自分戦略研究所 システムコール・ライブラリルーチン - UNIX の部屋 ltrace 共有ライブラリの呼び出しをトレース。*.soと何を話しているか。 ltrace -p PID でプロセスにアタッチ。実行中のプロセスをトレース。 ltrace で共有ライブラリの関数呼び出しをトレースする - bkブログ 404 - エラー: 404 - Linux JF ƒ‰ƒCƒuƒ‰ƒŠ‚ÌŠ
Linux等でのログのモニタリングで簡単にアラートをキャッチするワンライナー - 元RX-7乗りの適当な日々
昔、『「ping -a」で音が鳴る！』なエントリでも書いたのですが、何らかをリアルタイムにチェック/監視したい時に、視覚だけではなくアラート音が一緒に出ると、モニタリングしやすいものです。 というわけで、Linuxなんかで、とあるログファイルの出力から、ある文字列が検出された際に、ビープ音を鳴らすワンライナーは以下。 $ tail -f ログファイル | sed -e 's/\(対象文字列\)/\1^G/'上記を実行中に、指定ログファイルに対象文字列が出力されるとビープ(Beep)音が鳴るはず。 「^G」(0x07)の部分が、ASCIIのBELキャラクタのリテラルです。 $ echo -n "^G"などとしてやれば、ベル(ビープ音)が鳴りますよね。 ちなみに、「^G」は、[Ctrl-V] ⇒ [Ctrl-G] の順に入力してやればOK。emacsだと[Ctrl-Q] ⇒ [Ctrl-G]か
【レビュー】Linuxでネットワークトラフィックを監視する方法 | エンタープライズ | マイコミジャーナル
TechThrob.com UbuntuやFedoraといったGUIプラットフォームには、ネットワークトラフィックを表示するアプリケーションが用意されていることが多い。ただしそれらアプリが出力するトラフィック情報は大雑把で、個別の情報は表示されないことがある。またGUIアプリでは、sshでログインした状態でネットワークトラフィックを調査するといった作業ができない。 How to Monitor Network Traffic in Linux - Techthrob.comにおいてLinuxやUnixなどでネットワークトラフィックのモニタリングを実施するための2つのツールが紹介されている。コマンドラインで動作するツールなので、ssh経由でログインして使うことができる。紹介されているツールと活用例は次のとおり。 iftop(8) ネットワークトラフィック情報を表示するツール。IPとポート番号
『[PHP] inotify関数を使ってログを監視するスクリプトを作ろう』
前回の「inotifyを使ってファイルやディレクトリに起きたイベントを簡単に監視する 」にてinotifyの機能を使ってみましたが、PHPのプログラムからも利用できるようなので、試しにログを監視するスクリプトを作ってみました。 inotifyの機能を使って独自のPHPスクリプトを書けば、何かのファイルを監視したり、ディレクトリにおきた変化をトリガーにして何か処理をするというようなスクリプトも簡単に書くことができます。 PHPからinotifyの機能を利用するにはPECLの拡張モジュールとして組み込む必要があります。 PECLで提供されている拡張モジュールのインストール方法 は色々用意されているようですが、今回はphpizeコマンドを使ってモジュールをコンパイルし、PHPに組み込むようにしました。 1. PECLのinotifyパッケージをダウンロードする まずは、PECLの公式サイトからi
![『[PHP] inotify関数を使ってログを監視するスクリプトを作ろう』](https://cdn-ak-scissors.b.st-hatena.com/image/square/95e25b60a116cd646b6ea35a97f21d87e8bb3473/height=288;version=1;width=512/https%3A%2F%2Fstat.profile.ameba.jp%2Fprofile_images%2F20180307%2F17%2F6d%2F98%2Fj%2Fo01440176p_1520412760963_99ynx.jpg)
HTTPの通信状況をデバッグしてボトルネックを発見できる「HttpWatch Basic Edition」 - GIGAZINE
Windows XP/Vista/2003/2008 Server上のInternet Explorer 6/7/8 Beta 2、Mozilla Firefox 2.0/3.0/3.1 Beta 2で動作するフリーソフトで、HTTP/HTTPSのリクエストヘッダ表示、HTTPの圧縮率表示、ページ内の各要素の読み込み時間のチャート化、ステータスコードやレスポンスサイズの表示、フィルタリング、さらにはこれら一連の通信をログファイルに記録することなども可能です。 時間はミリセカンド単位で表示が可能となっており、まさにHTTPデバッガと言っても差し支えないレベルなので、「ページの読み込みが遅い原因を知りたい」とか「ちゃんとサーバの設定が反映されているかどうかを確認したい」「ウェブアプリの動作チェックがしたい」という場合に役立ちます。この種類のソフトにありがちな日本語の文字コードが解釈できないとい
Kazuho@Cybozu Labs: crontab を使って効率的にサービス監視する方法
監視とは継続的なテストである、という話 (もしくは cronlog とテストスクリプトを組み合わせた監視手法について)に続きます 今日ようやく、積ん読状態だった「Software Design 2010年1月号」を手に取ったのですが、特集が「今日から使えるスクリプト満載！ [プロ直伝]お手軽サーバ監視術」。興味深く拝読したのですが、もっと楽ができるのにと思うところも。ちょうど、昨年末に運用しているサービス「パストラック」のサーバを移転し、crontab と perl で書かれたスクリプト群を使った監視環境を構築したところなので、そこで使っているスクリプト cronlog を紹介したいと思います。 特集の前書きにも書かれていることですが、サーバやネットワーク機器が多数ある環境なら、Nagios を始めとする、専ら監視のために作られたソフトウェアを使って、監視システムを構築すべきです。逆に小規
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
