セキュリティを後回しにできない――、Datadog JapanがDevSecOpsを実現する3つの新製品を紹介
TCP接続を集約表示するlstfでNetlinkにより実行速度が1.6倍になった - ゆううきメモ
Linuxサーバ上でホスト間コネクションを集約表示するツール lstf をつくった - ゆううきメモ にて紹介したlstfのホスト上のTCPコネクション情報の取得処理において、/proc/net/tcpを読みだす代わりに、Netlinkソケットを利用することで、実行速度が1.6倍になった。lstfのバージョン0.4.0で使えるようになる。 実験 約40,000接続あるWebサーバ上にて、lstfコマンドの実行時間を名前解決時間を含まずに比較する。 実験環境はEC2のc4.2xlarge、Debian 8.10、Linuxカーネル3.16であり、リバースプロキシとしてnginxが動作している。 接続数は次のコマンドよりだいたい40,000接続であることを確認する。 [y_uuki@hoge ~]$ ss -tan | wc -l 39264 /proc/net/tcpを読む実装では、次のよう
クラウド時代の監視ツールDatadogをあらためて紹介します - ZOZO TECH BLOG
こんにちは。zozoフロントエンド部の大平です。さだまさし好きが昂じて社内では「さださん」と呼ばれています。 計測してますか？ 皆さん計測していますか？ 何かを改善しようとした場合、パフォーマンスを数値化し、その内容をもとに改善案を考えて行動することが、基本的な取り組み方になります。 そして、いかに現状を測定可能な状態にし数値化可能な指標を設定するか、という事が取り組みの第一歩になります。ダイエットや体質改善でもそうですし、英語など語学学習でもそうだと思います。 ということで、計測はとても大事です。 私事ですが、私は最近さだまさしさんのファンが集うコミュニティに参加しています。古くからのファンの方々はさだまさしさんのデビュー時からずっと追っかけている猛者も多く、私みたいな若輩者の青二才は圧倒的な「さだ力」の不足を感じる毎日です。 最近、コミュニティの中で「楽曲検定」というサイトが流行しまし
「Prometheus 2.0」正式版リリース。クラウドやコンテナなど動的な分散環境に対応した統合監視ツール
Prometheusはクラウド上のシステムに代表される、監視対象となるサーバが増減するような動的な分散環境システムに適した監視ツールとして開発された。2.0では時系列データベースが改善され、性能向上などを実現している。 Prometheusはアプリケーションやコンテナ、Kubernetesのようなオーケストレーションツール、OS、サーバ、ネットワークなど、システムを構成するさまざまな要素を監視対象とすることができ、メトリクスとしてCPUの負荷やメモリ、ストレージの利用率、HTTPのレイテンシなど任意の値を取得、監視できる統合監視ツールです。 状況をグラフで表示しつつ、異常を検知するとアラートを発するなど、システム監視を統合的に行うことができます。さらにリッチなビジュアライズについては「Grafana」などの外部ツールと連携可能。 Prometheusは、Dockerコンテナのオーケストレー
CentOS7 に netdata をインストールしてリアルタイムでリソース監視する - らくがきちょう
知人に教えて頂いてサーバのリソース監視ツールである netdata を試してみたのでメモしておきます。 今回は CentOS7 環境で試しました。 注意点 関連ファイルをまとめておきたい場合はインストールパスを指定する インストールパスを指定せずに netdata をインストルすると、関連ファイルが様々なディレクトリに配置されます。 「一箇所にまとめておきたい」場合はインストール時に --install オプションでインストールパスを明示的に指定するようにします。 自動アップロードを利用する場合はソースコードを削除せず、保存しておく 後述しますが cron を使って netdata の自動アップロードを行う場合はインストールが完了しても GitHub からクローンしたソースコードは削除せず、保存したディレクトリ位置も覚えておきます。 キックスタートでインストールするとインストールパスを指定
1万台のサーバを監視できると話題のPrometheusをGrafanaと組み合わせて導入した話 | Nagisaのすゝめ
はじめに 初めまして、下記の記事にて紹介がありました インフラエンジニアの榎戸です。 golangを使って開発したWebAPIを1年半運用して改善してきたことー月間20億PVのマンガサービス開発の裏側 場数を踏んできたのかは分かりませんが 笑 23歳エンジニア歴は２年と浅めです。 まだまだ未熟なエンジニアですが 今回はPrometheus + Grafana について紹介させて頂きます。 内容については下記となります。 Prometheus導入の経緯 Prometheus概要 Prometheusでの監視構成 次回お知らせ それでは始めていきます。 Prometheus導入の経緯 まずPrometheusを導入した経緯について少しだけ触れたいと思います。 弊社では月間20億PVのマンガサービスやそれと並行して走っているマンガサービス、また動画配信サービスや、アプリゲームの配信なども行なって
Ansibleの動作状況をダッシュボードでリアルタイムに監視可能、「Ansible Tower 3」リリース － Publickey
Red Hat傘下のAnsibleが、データセンター自動化ツール「Ansible」の動作状況などをダッシュボードからリアルタイムに一元管理可能にするツール「Ansible Tower」の最新版「Ansible Tower 3」をリリースしました。 Ansibleは、「Playbook」と呼ばれる構成ファイルを実行することで、データセンター内の多数のサーバに対して処理を行い、サーバに対してアプリケーションのインストールなどを自動的に実行してくれます。 Ansible Towerを利用すると、このPlaybookの処理が順次行われていく状況をリアルタイムにダッシュボード画面で把握し、サーバごとの処理の成功や失敗などの状況を容易に知ることができます。 Ansibleに対して誰がどのような処理を行ったのか、ログもAnsible Tower 3で管理。Playbookの実行をスケジュールし、設定した
あなたはどれだけ知ってる？〜監視&モニタリングツール19選〜 - LIVESENSE ENGINEER BLOG
創造開発部インフラグループです。(中の人：水野、中西) 今回の記事は、前回のログ収集基盤ツールまとめのサーバモニタリング版となります。 made.livesense.co.jp リブセンスでは過去 Nagios/Munin で行っており、現在では mackerel を利用していますが、この界隈も変化が激しく多種多様なツールが登場しているため良いところどりをして運用の向上になればと思っています。 それでは早速まとめです。 注: 有名な mackerel/Datadog については省略させていただいています。我々が知らないツールのまとめとなりますことをご了承ください。 Librato www.librato.com 有料SaaS(FreePlan 無し、30日間のトライアル有り) システムリソース等を収集/可視化するサーバモニタリングツール。ホスト単位ではなく、メトリクス単位で管理/課金される
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで
Webエンジニアが知っておきたいインフラの基本 インフラの設計から構成、監視、チューニングまで 馬場俊彰 マイナビ出版 2,948円 (2,680円+税) Webサービスを高速化し、可用性を高めるスキルを身につける！ Webエンジニアの仕事の幅を広げるためのインフラの知識をピックアップしてまとめました。インフラまわりの技術の基本から、インフラ基盤の手配の方法、設計のセオリー、システム監視、チューニングまで、ツボを押さえてまとめています。 関連サイト本書の関連ページが用意されています。 Webエンジニアが知っておきたいインフラの基本｜マイナビブックス内容紹介本書は、Webアプリケーションエンジニアや、フロントエンドエンジニアを対象に、知っておくと便利なインフラの知識をまとめた本です。 担当しているWebサービスをもっと高速化させたい方や、バックエンドと最適化された無駄のないアプリケーションを
Linuxでネットワークの監視を行えるモニタリングコマンド20選 | 俺的備忘録 〜なんかいろいろ〜
今回は、Linux上でネットワークトラフィックの監視を行えるモニタリングコマンドについて、数あるコマンドから20個を紹介する。 1.iftop 以前にこちらでも書いているiftopは、個別のソケットで受信・送信パケットをひと目で見る事が出来るコマンド。 通信ごとに個別のプロセスを表示させることは出来ないが、どのホストとの接続がどの程度の帯域を使用しているのかはひと目で分かるだろう。 以下のコマンドでインストールが出来る。 sudo apt-get install iftop # Debian/Ubuntuの場合 sudo yum install iftop # RHEL系の場合 2.bmon 『bmon』は、グラフでトラフィックの負荷を表示してくれるモニタリングコマンドだ。 どのNICのトラフィックを表示させるかを上下キー、モニタリングを行うパケットの種類を左右キーで選択する。 このコマン
CPU、メモリ、ディスク使用量…ひと目でわかるモニタリングツール『Glances』コマンド | 俺的備忘録 〜なんかいろいろ〜
以前、モニタリングコマンド『nmon』を紹介したが、今回は同様に便利な『Glances』というコマンドについて紹介する。 このコマンドの特徴としては、多くの情報をひと目で確認出来るということだ。 さて、それでは早速インストールをしてみよう。 以下のコマンドを実行する事で、インストールが行える。 sudo apt-get install python-pip build-essential python-dev sudo pip install Glances sudo pip install PySensors インストール完了後、以下のコマンドで『Glances』を実行する。 glances ぱっと見で多くの情報を参照出来て、かなり便利なコマンドだ。 これはいいね！！ 他には、どんな事が出来るんだろう？ヘルプの内容を見てみよう。 test@test-vm-ubuntu:~$ glance
毎日は使わなくても、持っておくとかなり便利なWindowsプログラムTop10 | ライフハッカー・ジャパン
ブラウザやメディアプレイヤー、解凍ツールなど、日常的に欠かせないアプリには毎日のようにお世話になります。一方で、そこまで注目は浴びないけれど、いざというときのために持っておきたい、心から便利なアプリも存在します。この記事では、米lifehackerが選んだ、そのようなアプリ10選を紹介したいと思います。 10. 「Speccy」 自分の使っているRAMの種類を忘れていませんか？ CPU温度を気軽にチェックしたいと思いませんか？ そんなあなたに便利なのが「Speccy」。あなたのマシンをスキャンして、モデルナンバーから温度、ファンスピード、S.M.A.R.T.（Self-Monitoring Analysis and Reporting Technology：ハードディスクの自己診断機能）の状況など、思いつく限りのありとあらゆる情報を要約して見せてくれます。ポータブルアプリとしても入手できる
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
fluent-plugin-zabbix リリース - 酒日記 はてな支店
fluentd の出力プラグイン、fluent-plugin-zabbix をリリースしました。 Github fujiwara/fluent-plugin-zabbix https://github.com/fujiwara/fluent-plugin-zabbix fluent-plugin-zabbix | RubyGems.org https://rubygems.org/gems/fluent-plugin-zabbix] 監視とメトリクス収集に Zabbix を使っているので、fluentd で収集した値を zabbix に送って扱いたかったのです。 挙動としては zabbix_sender でホスト側から送信するのと同様です。主に datacounter や flowcounter で集計した値を送るのを想定していますが、送信頻度に気をつければなんでも送れると思います。 作成
Four Linux server monitoring tools
Here is four strong monitoring tools i would like to present for you. htop - interactive process viewer You may know the standard tool for watching real time processes on your machine top. If not, run $ top to see it in action, and $ man top to read the manual. The htop is a widely extended version of top, with a big overview (eg. full commands, visualization, gui and ui), a mouse-clicking interac
無料で始められる監視・モニタリングサービス 5選
※1: 2013/12/27追記 1台→Noneに書き換えております。これは、はてブで「制限が無いのでは」と指摘ありましたので再度調べました所、"None"と記述がありました。別項目で"Unlimited"の表記があり「無制限」とは違う意味で書かれていると認識しまして、上記の通りに変更しております。 なお、サービス内容は有償プランになると強化・増えている場合がほとんどです。 New Relic 監視・モニタリングがセットになったサービスです。 対象のサーバにエージェントをインストールすることで、監視・モニタリングを行う事ができます。監視項目毎に一つ一つ設定をしなくても良い点が、監視を始めたばかりの方にとっては便利かもしれません。 また、特徴的なのは、スマートフォンからデータの参照、及び障害通知をPush通知で受け取る事ができる点です。現代的ですね。 無償プランでは、サーバは1台、モニタリン
SRA OSSとTIS、PostgreSQLの性能監視が可能なZabbixテンプレート「PostgreSQL monitoring template for Zabbix」を公開
SRA OSSとTISは、オープンソースデータベース「PostgreSQL」の稼働情報および性能監視を、オープンソースの統合監視ツール「Zabbix」から行えるテンプレート「PostgreSQL monitoring template for Zabbix（pg_monz）」を共同で開発し、オープンソースソフトウェア（OSS）として5日に公開した。 「pg_monz」は、PostgreSQLの運用管理者がチェックしたい、死活監視（接続確認、プロセス確認）、ログ監視（エラーレベルによる監視）、リソース監視（ディスク容量、CPU利用状況、メモリ利用状況、ディスク容量など）、データベース監視（データベースサイズ、接続数）、性能監視（チェックポイント発生状況、キャッシュヒット率、デッドロックなど）の監視に対応している。 Zabbixの機能によって、閾値によるアラート設定や、監視データの蓄積によるヒ
『WebSocketで監視もリアルタイムに』
こんばんは。社内ニートの佐野と申します。所属はいちおAmebaのインフラチームです。Twitterもやっていますがフォローする価値はないです。つぶやいているのはメシと酒の話と下ネタだけです。 最近、組織改編とかもろもろありましてこのたびは雑用からニートになりました:(;ﾞﾟ'ωﾟ'): あまり目立たないように生きてたんですが、何気にこのブログへの登場は3回目になります...。前回は2012年12月に「QCon San Francisco 2012の参加レポ」を書かせていただきました。その前は2012年5月に「Virident FlashMAXの検証」として名前だけ登場しました。なんか、ニートだけど会社に貢献してる気がしてきた(^ρ^) そんなわけで以前WebSocketを使った監視ツールもどきを作ったので、それについての簡単な説明と、各種技術要素(Python, Jolokia)のTips
TCP接続を監視してそのログを取得・表示するツール「TcpLogView」 - 窓の杜
ニュース TCP接続を監視してそのログを取得・表示するツール「TcpLogView」 “GeoLite City”などと組み合わせれば、接続先の国・都市といった情報も取得可能 （2013/4/18 10:27） 「TcpLogView」v1.00 「TcpLogView」は、TCP接続を監視してそのログを取得・表示するツール。Windows 2000からWindows 8までに対応する寄付歓迎のフリーソフトで、64bit版OS向けのバイナリも用意されている。作者のWebサイトからダウンロード可能。 本ソフトは、現在開いているTCP接続のスナップショット（状態を保存したもの）を取得し、それを以前のスナップショットと比較することにより、TCP接続情報の差分を取得してログとして表示する。ログとして表示できるのは、イベントの種類（Open、Close、Listen）とその発生時刻、ローカルIPアド
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
MySQLを割と一人で300台管理する技術
