Amazon Elasticsearch Serviceを使ったログ収集基盤の構成を考えてみた
みなさんこんにちは。@ryuzeeです。 6月10日にAmazon Web Services企業導入ガイドブックが発売になっていますのでよろしくお願いします。 さて今回はAWS上でログ収集と分析をする際に、Amazon Elasticsearch Serviceを使う前提とした場合だとどのような構成案がありそうかいくつか考えてみたのでご紹介します。 なお、検討の材料にしている全体の構成としては、複数のVPC(またはAWSアカウント)があって、さらにオンプレ側とDirect ConnectやInternet VPNで接続しているような、よくあるそれなりの規模の構成になります。 各VPCの中には複数のサブネットがあり、そのうちのいくつかはプライベートサブネットに分かれているものとします(個人的にはインターネットゲートウェイの有無しか違いがないので、プライベートサブネットあまり作りたくない)。
Fluentd+Solr5.3でJavaのGCログを収集 - Qiita
最近、Fluentd + ElasticSearch + Kibana を組み合わせてログの収集・可視化をやっている取り組みをよく見ます。 私もちょっと触ってみたいなーと思っていたのですが、ElasticSearchよりSolrの方がまだ少しは知っていたので、Fluentd + Solr (可視化部分はまた後日) やってみました。 Solrは、Apacheだから(?)同じApache仲間のFlumeと連携させる記事はよく見ますが、Fluentdとの連携はあまり見ないので色々不安でしたが、Fluentdのプラグインを作ってくださっている方がいたので助かりました。 環境 CentOS 6.6 (32bit) Fluentd 0.12.15 プラグイン: fluent-plugin-out-solr 0.0.8 Apache Solr 5.3.1 Oracle JDK 8 Update 65 言
FluentdからNSCA / Nagiosにサービスチェックを送るプラグインを書きました - 映画は中劇
この記事はFluentd plugin to send NSCA / Nagios service checksの日本語版です。 FluentdからNSCA / Nagiosの監視サーバにサービスチェックを送るプラグインを書きました。このプラグインを使って、Fluentd上のログの異常について、Nagiosで通知を上げることができます。 miyakawataku/fluent-plugin-nsca | GitHub fluent-plugin-nsca | RubyGems.org インストール fluent-plugin-nscaというgemをインストールしてください。 このプラグインはNSCAクライアントのRuby実装を使っているため、send_nscaコマンドをインストールする必要はありません。 ユースケース: 「サーバエラー多すぎ」アラート 次の環境を前提します。 「web」サー
ExcelでLTSV読むよー - aike’s blog
LTSVが最近熱いですね。ログファイルのフォーマットはこれで決まり、みたいな。 とはいえ、業務システムだといまだに人月計算とスーツとExcelの世界なので、上司に提出する場合とかそのあたりの親和性をなんとかしたいところです。 そんなわけでExcelでLTSVを読めるようにVBAを書いてみました。これでログを罫線で囲ったりセルに色をつけたりできます！嬉しいのか、それ。 Attribute VB_Name = "LtsvLoader" ' ' LtsvLoader.bas ' ' This program is licensed under the MIT License. ' Copyright 2013, aike (@aike1000) ' Option Explicit Dim gHash As Object Dim gMaxColumn As Integer Sub LoadLTSV
古いログを別のディレクトリに自動的に移動する方法 - sanonosa システム管理コラム集
ログが溜まってくると、必要な情報を探しにくくなるので古いログを別のところに移動させたいと思うようになります。今回はそんな場合のためのcron設定を記してみます。 【cron設定】 いろいろな方法があるかと思いますが、今回はシンプルにいきます。 5 3 * * * /usr/bin/find /home/user/logs/*log -maxdepth 1 -type f -mtime +6 -exec /bin/mv {} /home/user/oldlogs/ \; 1> /dev/null 細かいオプションの意味は以下の通りです。 ・「-maxdepth 1」・・・検索対象のディレクトリを1階層に制限する。 ・「-type f」・・・検索対象をファイルに限定する。 ・「-mtime +6」・・・データが修正された時間が7日以前のもの。+6とは7日(144時間)前～過去を指す。(+7でな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
