sarコマンドでシステムの情報を取得する - メモ置き場
ubuntuで試してます。 sarが使えない場合はインストール $ sudo apt-get install sysstat 実行 単純にsarだけ実行するとエラーになりました。 記録してあるログからシステムの情報を読み出そうとして、ログがないのでエラーになっている模様。 $ sar /var/log/sysstat/sa07 を開けません: そのようなファイルやディレクトリはありません Please check if data collecting is enabled in /etc/default/sysstat出力されたとおり、/etc/default/sysstatのENABLEDをtrueすると、10分に一回システムの情報をログに残すようになります。 # Should sadc collect system activity informations? Valid values
サーバー負荷を監視、過去ログも確認できるLinuxの【sar】コマンド
Linuxコマンドで、sar (System Admin Reporter) というCPUやメモリ、ディスクなどの使用率を時間ごとに一覧表示してくれる便利なものがあります。サーバーに負荷がかかっていないかとか、何時何分頃に負荷が高いのかとか一目でわかる優れもの。 使い方は簡単で、sarと打つだけで、本日の分が10分ごとに一覧で表示されます。 # sar ※「sar コマンドが見つかりません。」と出たら、以下のパッケージをインストール # yum install sysstat コマンドオプションを付ければ、もっと詳細に確認できる。 # sar -A 全情報表示 # sar -q loadaverage # sar -n DEV 送信／受信パケットに関する情報 # sar -n EDEV エラーパケットに関する情報 # sar -u CPUの利用状況。 # sar -b ディスクI/Oの使用
負荷をかけたままのOracle RACをライブマイグレーションさせたら、トランザクションやクライアントとの接続は無事か？
いまや多くの業務アプリケーションが仮想サーバ上で稼働するようになってきていますが、仮想環境で稼働させるのは難しいと考えられているのがデータベースです。 » Live Migration of Monster Oracle RAC Nodes without Client Disruption? Easy as VMware vSphere! Long White Virtual Clouds データベースに負荷をかけたままVMwareのライブマイグレーションを実行した場合、クライアントからの接続を含めて問題なくトランザクション処理が継続できるのか、ライブマイグレーションにはどれだけ時間がかかるのでしょうか。 それを実際に試してみた記事が、企業向けにアーキテクチャコンサルタントをしているMichael Webster氏のブログLong White Virtual Cloudsに「Live M
kernel: TCP: time wait bucket table overflow の解消とTIME_WAITを減らすチューニング - 気ままにインフラエンジニア
整理がてら。 httpdが動いているあるホスト上で、 /var/log/messages に以下のようなメッセージが出ていた。 kernel: TCP: time wait bucket table overflow kernel: printk: 50078 messages suppressed. "netstat -tna |grep TIME_WAIT"すると、10万以上の数でTIME_WAITが出ている。これを解消するまでの流れ。 そもそもこの値は、カーネルパラメータの net.ipv4.tcp_max_tw_buckets で設定されている。デフォルトは16384。 （↑の通り、エラーが出た環境では既にかなり大きな値が設定されていたのだが。） /proc/sys/net/ipv4/tcp_max_tw_buckets システムが同時に保持する time-wait ソケットの最大
「net.ipv4.tcp_tw_recycle」を有効にするのは（場合によっては）やめた方がいい - pullphone's blog
そもそも「tcp_tw_recycle」ってなに？ TIME_WAIT状態のソケット*1を高速に再利用するためのLinuxカーネル特有の仕組みらしい。 「/etc/sysctl.conf」でこいつ（net.ipv4.tcp_tw_recycle）を1にしてやって「sysctl -p」するだけで有効になります。 「TIME_WAITのソケットを少なくしてくれるんでしょ？いいじゃん！」という感じで設定してしまいそうになりますが・・・ なんでダメなの？ 結論から言うと、こいつを有効にしたとき、同じグローバルIPのクライアントからの接続でかつTCPパケットにタイムスタンプ情報が入っている場合で、ほぼ同時にパケットを送ると、古いタイムスタンプの方のパケットを勝手にドロップしちゃいます。 どういうことなの・・・ 「tcp_tw_recycle」は、「同一IPからのパケットが到着したとき、使っていたソケ
Node.jsの仕組みはWebアプリ開発者も知っておくべき
インターネットのサービスは、アクセスしてきたユーザーを「待たせない」ことが大前提だ。「待たせない」サービスを実現するために、新しいインフラ技術が次々と登場している。例えばJavaScriptの実行基盤を構築するサーバー用ソフト「Node.js」もその一つ。大量の同時接続ユーザーに対して高速にレスポンスできる技術として、今、大きな注目を集めている。 Node.jsは、Webサーバー構築ソフト「Apache」やWebアプリケーションサーバー構築ソフト「Tomcat」などと置き換えて使う。ただし、単純に置き換えるだけで必ずレスポンスが高速になるわけではない。Node.jsが持つ本来のパフォーマンスを引き出すには、実装するWebアプリケーションの開発に注意が求められる。 “ループ”を止めないアプリが不可欠 Apacheの場合、複数のスレッドを起動して並行処理することで、大量のアクセスに対応できるよ
［AWARD受賞製品］可用性と使い勝手を高めたHadoop互換のビッグデータ基盤
ITpro EXPO AWARD 2011で優秀賞に輝いたのは、EMCジャパンのビッグデータ処理ミドルウエア「EMC Greenplum HD」である。OSS（オープンソース）の「Apache Hadoop」とのアプリケーション開発互換性を保ちつつ、同社が一から企業向けに作り直し、性能、可用性、使い勝手を向上させている。 国内の第一号ユーザーはリクルート（Webのログ解析などに利用）。2011年内は、ユーザー数社に対して限定的にGreenplum HDを導入する。2012年の年明け以降、広く一般への販売を開始する。料金はサブスクリプション（購読）形式とし、データ処理ノード1台あたり年額50万円前後としている。 ITpro EXPO 2011の展示ブース（写真1）では、実機（3台のデスクトップPC）を用いたデモンストレーションやシアター上映を通し、Apahce Hadoopと比べたGreen
パフォーマンス - Heartful Communication
・良く見る情報として、「load average」,「CPU使用率」 ▼load average 処理を待っているプロセスの平均数(1分前,5分前,15分前) 値の見方としては、「値がCPUの数以下」であるのが望ましい。 1CPUであれば、1プロセスでCPUが100%動作している状態であるので、Load Averageは1.00になる 1を超えるということは、それだけ処理待ちのプロセスがあるということになり、 処理に時間がかかっているプロセスが発生していることになる。 値が2〜3であれば許容しても良い範囲(一時的であれば!)であるが、5を超えていれば原因を調べた方がいい ※Load Averageは｢w｣や｢uptime｣コマンドでも確認できる ▼CPU使用率 CPUがどれだけ使用されているかを%で表したもの us と sy を足したものが使用されているCPUの率.
減り続けるメモリ残量！ 果たしてその原因は!? 第1回 （1/3） − ＠IT
減り続けるメモリ残量！ 果たしてその原因は!?：Linuxトラブルシューティング探偵団 番外編（1）（1/3 ページ） NTTグループの各社で鳴らした俺たちLinuxトラブルシューティング探偵団は、各社で培ったOSS関連技術を手に、NTT OSSセンタに集められた。普段は基本的にNTTグループのみを相手に活動しているが、それだけで終わる俺たちじゃあない。 ソースコードさえあればどんなトラブルでも解決する命知らず、不可能を可能にし、多くのバグを粉砕する、俺たちLinuxトラブルシューティング探偵団！ 助けを借りたいときは、いつでもいってくれ！ OS：高田哲生 俺はリーダー、高田哲生。Linuxの達人。俺のようにソースコードレベルでOSを理解している人間でなければ、百戦錬磨のLinuxトラブルシューティング探偵団のリーダーは務まらん。 Web：福山義仁 俺は、福山義仁。Web技術の達人さ。Ap
sysstat でシステムの状態を定期的に監視する - いますぐ実践! Linuxシステム管理 / Vol.178
「いますぐ実践! Linux システム管理」はこちらです。 メルマガの解除、バックナンバーなども、以下からどうぞ。 https://www.usupi.org/sysad/ (まぐまぐ ID:149633) その他、作者に関するページは、概ね以下にございます。 https://www.usupi.org/kuri/ (まぐまぐ ID:126454) http://usupi.seesaa.net/ (栗日記ブログ) https://twitter.com/kuriking/ (twitter) https://facebook.com/kuriking3 (facebook) https://jp.pinterest.com/kuriking/pinterest) https://www.instagram.com/kuri_king_/ (instagram) [バックナンバーのトップへ
4.メモリ使用率(第5章 パフォーマンス管理〜上級:基本管理コースII)
freeコマンド freeはシステムの物理メモリとスワップメモリそれぞれに対して使用量と空き容量を表示しカーネルが用いているバッファも表示します。 使用方法 $ /usr/bin/free [オプション] 主なオプションとしては、以下のものがあります。 -b：メモリの量をバイト単位で表示します。 -kではキロバイト単位(デフォルト) で表示し、-mではメガバイト単位で表示します。 -t：物理メモリ、スワップメモリの合計を示す行も表示します。 -o：「バッファの分を増減した行」を表示しません。このオプションを指定しない限り使用中のメモリからバッファメモリを引いた値と未使用のメモリにバッファメモリを足した値を表示します。 -s：繰り返し実行をする間隔(秒)を指定することでその間隔での繰り返し実行ができます。例えば2秒ごとに繰り返し実行するには free -s 2 となります。間隔は秒未満の短い
ノード数3倍で性能が2.3倍に
KVS（Key-Value Store）は、既存のRDBと比べてシンプルな機能しかない代わりに、データを分割して多数のサーバーで分散処理できるスケーラビリティーの高さが特徴である。その代表例として、米Facebookが開発し、オープンソースソフトウエアとして公開されている「Cassandra」がある。 KVSは従来にはなかった膨大なアクセスをさばくため、大手のWebサービス事業者などが続々と開発している。米Googleの「Bigtable」と米Amazon.comの「Dynamo」がその先駆であり、Cassandraは両者の設計思想を受け継いだものだ。 Facebookは同社のSNS（Social Networking Service）において、ユーザー間で交換するメッセージの保存や検索などを行うデータベースとしてCassandraを開発し、最大150台程度のサーバーで運用した実績がある。
［Windows Azure Platform編］DBサイズの制約を避ける
クラウドコンピューティングでは、クラウド事業者が集中管理する極めて多数のサーバーやネットワーク機器といったリソースが小口に分けられ、複数の企業や個人利用者に比較的低いコストで提供されます。サービス利用者にとっては、自分でハードウエアなどのインフラを用意することなく、必要なときに、必要な分だけリソースを安価に使えることが魅力です。 クラウドコンピューティングは大きな拡張性を備えているので、たとえアクセスが集中したとしても、リソース量を自在に増やすことができます。ただし、そうしたメリットを享受するには、クラウド事業者ごとに異なる設計のルールを守らなければなりません。 本連載では、マイクロソフトが提供するサービスの「Windows Azure Platform」に焦点を当て、その「デザインパターン」について解説をします。ここでは、クラウドの特性を生かしたり、制約を回避したりするための設計ノウハウ
大量データの高速処理に向く
大量データのリアルタイム処理などで、リレーショナルデータベース（RDB）以外に「Not OnlySQL（NoSQL）」と総称される用途特化型のデータベースが普及してきた。RDBは、分散処理やPaaS（プラットフォーム・アズ・ア・サービス）対応が進む ここにきて、利用事例も増えてきた。「会員の購買履歴の分析にかかる時間が1日では話にならない。最新の購買履歴を5分でサービスに反映できなければ、販売機会のロスにつながる」。自社開発のNoSQL「ROMA」を、商品のレコメンド（推薦）機能などに展開している楽天の森正弥執行役員兼技術研究所長はこう言い切る。 楽天が処理時間にこだわるのは、会員の購買履歴を解析してレコメンド商品を提示するのに1日かかると、ユーザーが購入した商品と同じものがレコメンドされかねないからだ。楽天の会員数は、2010年9月時点で約6700万人。楽天トラベルの「最近見た宿」をはじ
バッチ処理時間が要件の7倍、SQL最適化から発想変えて対処
1. 届け先を管理する新設のDBサーバーで、バッチ処理時間が想定の6～7倍と判明 2. 一括ロードツールを使い、メモリー上での処理を活用して1時間以内に収めた 3. SOAサービスの粒度は、カスタマイズの手間を減らすため単純な機能単位にした 「1時間が要件のバッチ処理に当初、6～7時間もかかった。工夫を重ねて、ようやく時間内に収められた」（ヤマトシステム開発 グループソリューションカンパニー 次期NEKOプロジェクト マネージャー 田中諭氏）。 ヤマト運輸が5年ぶりの刷新を進めている基幹システム「第7次NEKOシステム」。住宅に送る「宅配」から、住宅に住む個人の都合に合わせて送る「個配」を目指したものだ。2010年9月には、送り状に記載された届け先の個人名や住所などを登録した「届け先DBサーバー」を新たに稼働させた。これまで送り状に書かれた届け先は、郵便番号など一部の情報しかシステムに登録
データベースの内部動作を知る
SQLのプログラミングは奥が深い。特にパフォーマンスの観点から、そう言えるだろう。 みなさんご承知の通り、同じ結果を出すプログラムでも、SQLの書き方次第で処理時間に何倍もの差が生じ得る。効率の悪いSQLを書いてしまう原因は、多くの場合、リレーショナルデータベースの内部動作やアプリケーションに関する理解不足である。両者をよく知った上で最適なSQLを書けるようになることは、システムエンジニアとしての重要なスキルの一つである。 特集『基礎から理解するデータベースのしくみ』では、リレーショナルデータベースの内部動作について、基本的な部分を分かりやすく解説している。SQLプログラミングに役立つことはもちろん、SQLチューニングやデータベース設計のための基礎知識としても不可欠だ。 イントロダクション ブラックボックスのままでいいの？ Part 1：SQL文はどのように実行されるのか SQL実行までの
50万件の処理にクラウドの壁、リクエストの見直しで突破
開発するオンラインアプリケーションは二つある。損保ジャパンと代理店の間で、契約手続きや事務処理といった作業進捗を管理する「ToDoリスト」と、代理店向けの連絡事項を伝えるための「お知らせ」だ。電話やファクシミリを使った従来のやり方よりも、効率よく情報共有することを狙う。 一方のバッチアプリケーションは、オンラインで必要なデータを、保険事務や契約管理などの社内の基幹系システムから、日々取り込むためのもの。対象データは1日に50万件にもなる。 企画段階では、SJSが損保ジャパンに適用した実績を持つSaaSサービス「Salesforce CRM」の採用も検討した。しかし、画面のデザインを代理店ポータルに合わせる必要があるため、今回はForce.comでの開発が決まった。 制約に起因する課題に二度も直面 佐々木氏は開発で十数人のメンバーを率いる。開発に先立って、損保ジャパンや約4万6000の代理店
クラウドの信頼性
「パブリッククラウドはまだ稼働して間がなく、どんな障害が起こるのかを予測できない。できる範囲の手当てをしておくべきだ」（クロス・マーケティング システム開発ユニット エグゼクティブマネージャー 永井秀幸氏）。 まだ発展途上のクラウドの利用に取り組んだ現場を取材すると、信頼性に関しては、二つの問題が浮かび上がってきた（図5）。一つ目は、システムを冗長化して稼働率を高める際の問題である。多くのクラウドサービスはシステム構成がブラックボックスになっているため、冗長化に工夫が必要になった。稼働率を向上させたケースとして、インターネット上のコンテンツ流通を手掛けるライトアップや、ソーシャルゲームサービスのgumiの取り組みを取り上げる。対策はIaaSかPaaSかによって違ってくる。 二つ目は、データをバックアップする際の問題である。データのバックアップを標準またはオプションのサービスとして提供するク
「情報爆発」を支えるテクノロジー---目次
利便性向上、利用分析および広告配信等のためにクッキーを利用してアクセスデータを取得しています。詳しくは「データ利用について」をご覧ください。オプトアウトもこちらから可能です。
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Linuxサーバの負荷や使用率を調査するコマンドと手順
