推測するな、計測せよ フォージビジョンのエンジニアが教えるパフォーマンス改善に必要なログ分析
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。前半は、クライアント側から見たログ分析について。 Webサービスのパフォーマンスとログ分析 山口正徳氏：山口と言います。よろしくお願いします。今日はみなさんお集まりいただきありがとうございます。なんと現時点で参加いただいているのが303人。こんなに多くの方に参加してもらえるとは思ってもいなかったので、変な緊張感に包まれています。カミカミなところとかがあったりしても、そこはあたたかい目で見てもらえればなと思います。 また、ログ分析勉強会のオンライン配信は JAWS-UG 札幌の三浦一樹さんに協力いただています。配信環境の設営、配信レイアウトの作成な
Webサービスエンジニアが教えるサーバサイドのログ分析 情報を可視化して負荷状況を見よ
ログ分析勉強会は、日々の業務に役立てられる「ログ分析」についての情報交換を目的として活動しています。オンライン開催となった今回、AWSに詳しい山口氏がWebサービスのパフォーマンス改善に必要なログ分析について、日々の業務から得た知見を共有しました。後半は、サーバーサイドから見たログ分析について。 サーバ情報を可視化して負荷状況を見る 続いて、サーバの負荷状況を見るところですね。リソースの情報をコマンドで取得してサーバ情報を可視化しましょうというところです。 よく使うのは、1つ目はhtopですね。htopでプロセスごとにどれくらいのメモリやCPUを使っているかを取っていくのがあります。リクエストが多いときにこれを取っていって、どこが重たくなっているかを見るというのがいいかなと思っています。 例えばアプリケーションサーバと同梱されているものだったりとかすると、アプリケーションサーバの負荷がいき
logrotateの設定とファイルのアクセスモードについて
忙しい人のために先にまとめログファイルのopen時のアクセスモードは os.O_WRONLY|os.O_APPEND|os.O_CREATE を指定するlogrotateの設定には nocreate を渡すlogrotateではファイルをmvした後に行う処理が書けるので、そこでアプリケーションに対してシグナルを送ることでlogrotateの処理を実装できるfluentdはログのローテートを頑張って検知している ファイルディスクリプタについてファイルを open するとファイルディスクリプタを得られます。ファイルに書き込む際にはファイルディスクリプタ経由で書き込みを行います。 Linuxシステムプログラミング 23pをちょっと長めに引用します。 ファイルを読み書きする前にはオープンする必要があります。カーネルはオープンしたファイルをプロセスごとに管理しており、これをプロセスのファ
CentOS 7にブラウザベースのログモニタリングツール『log.io』を入れてみる | 俺的備忘録 〜なんかいろいろ〜
ログの監視について調べていたところ、ブラウザでSyslogを閲覧、フィルタリングすることができるモニタリングツール『log.io』なるものがあることを知ったので、試しに入れてみることにした。 今回は、CentOS 7にこのツールをインストールし、実際にアクセスしてみる。 ちなみに、こちらにデモページが用意されている。 インストール前に触ってみたい人は最初にこちらをいじってみた方がいいだろう。 1.インストール・起動 まずはインストールから。 npmでインストールできるので、以下のコマンドでインストールできる。 sudo yum install npm sudo npm install -g log.io 『log.io』のインストール完了後、log.ioで読み込ませるログを設定する。 設定ファイル「\~/.log.io/harvester.conf」を編集してやる。 例) [root@BS
［第10回］自社Webサイトが攻撃を受けたら… 対策製品を過信せずにログを分析
Webアプリケーションが攻撃されるセキュリティ事故が相次いでいる。ログイン情報が盗まれたり情報漏洩につながったりする厄介な攻撃だ。今回からWebアプリケーション攻撃への対応策を解説する。対策製品は有用だが100％ではないため、3段階で痕跡を探し出そう。 前回までは、マルウエア感染や内部不正など、社内で起こるセキュリティ事故（インシデント）対応について解説してきました。今回から、自組織がインターネットに公開するWebアプリケーションがサイバー攻撃に遭った場合のインシデント対応について解説します。 Webアプリケーションは一般に24 時間365日稼働します。常に攻撃者に狙われている状態であり、いつ被害に遭ってもおかしくありません。事実、Webアプリケーションを狙ったインシデントが後を絶ちません。 日本のインシデント情報を収集・分析するJPCERTコーディネーションセンターによれば、Webサイト
Graylog ではじめるログ管理 - クックパッド開発者ブログ
こんにちは。インフラストラクチャー部 セキュリティグループの星 (@kani_b) です。 主に "セキュリティ" や "AWS" といったタグのつきそうなこと全般を担当しています。 Fluentd などのデータコレクタ、Kibana やその他 SaaS による可視化、Kafka, Kinesis, Spark などのストリーム処理といった様々な分野で「ログの処理」がホットですが、アプリケーションのログ (行動ログなど) に関する話題が多くを占めています。 そうしたログの他に重要なのが OS や各種ミドルウェアのシステムログです。これらはトラブルシューティングであったり、セキュリティ上の問題を見つけたり、といったことに使われますが、最低限 syslog でどこかに集約しているだけ、といった例をよく見かけます。 これらのログをきちんと検索可能にし、分析することで、今まで気づかなかったような問
エラーの可視化でエンジニアの意識が変わる月間1億PV超のAllAboutを支える仕組み | SELECK
今回のソリューション：【fluentd/フルエントディー】 Webサービスやアプリの運営会社では、その開発に注力するあまりシステムの運用や開発プロセスの効率化には手が回っていないというケースも多い。サービスが日々成長していく中では、明示的に時間を確保しなければ業務改善の取り組みを続けることはどうしても難しくなる。 その問題に対し、総合情報サイト「All About」を運営する株式会社オールアバウトでは、「新しい技術を学んで業務を効率化する」というミッションを背負った若手中心のチームを立ち上げた。 そのチーム「Team TechBall」のメンバーは、業務時間の20％を使って日々システムやプロセスの改善に取り組んでいる。今回はその数ある活動の中のひとつ、fluentd、Elasticsearch、Kibanaを活用したログ監視のシステムについて、同社でエンジニアを務める大原 和人さんにお話を
Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 | 俺的備忘録 〜なんかいろいろ〜
Blog 201409 Apache、MySQL、PostgreSQL…様々なログを解析できる『request-log-analyzer』 前回、Webサーバのログを解析、モニタリング出来る『GoAccess』というツールを紹介したが、今回はそれと似たツール『request-log-analyzer』を紹介する。 このコマンドも『GoAccess』と同様にログを解析することが可能。解析できるログもWebサーバだけではなく、MySQLやPostgreSQL、Ruby on Railsと様々なログを解析できる。 ただし、ターミナル上でのリアルタイムのモニタリングには不向きなので、用途に応じて使い分けたほうがいいだろう。 1.インストール まずはインストール。以下のコマンドを実行する。 gem install request-log-analyzer 2.コマンドの実行 インストールができたら、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
What is the possible ^null$ exploit reported by LogWatch?