Monolog + AWS ElasticSearchでアクセス解析基盤を作ってみた - Qiita
こんにちは。勢いでAdvent Calendarへ登録してしまいました。 お付き合いいただければ嬉しいです。 本日はGoogle Analyticsぽいアクセス解析基盤を、Monolog + ElasticSearch(長いので以下ES)を使って自前で準備してみた話について書きたいと思います。 なぜ自前で？ GAが、なんか、めんどくさい（雑） 既に別件でES環境構築済みで導入が楽だった 集計力がとにかく超強力で、カスタマイズされた表示項目を求める処理をなるべくES側へ分離したかった 集計後の表示項目をアプリケーション側で取得して、クライアント管理画面等で使いたい これは多分GAでも出来ますが、めんどくさい 面倒くさがりすぎですが、結果の集計にESの強力な集計クエリを使えるのは魅力です。 たまたま導入コストも低い状態でしたので挑戦してみました。 設計 MonologのElastica han
fluent-loggerを使ってfluentdにログを送ってみる - abcdefg.....
fluent-loggerを使ってfluentdにログを転送してみたメモです。 各言語から直接fluentdにログを送るのはどうするのか分からなかったので調べてみると、 fluentのGitHubリポジトリに各言語ごとのfluent-logger-xxxxがありました。 github.com 2018年2月時点では java, python, ruby, go, node, php, perl, scala, erlang, D, ocaml が存在しています。 fluentのリポジトリにない言語も有志で作っているものがあるようです(fluent-logger-haskellなど) javaとgoで試してみようと思います。 ほとんどREADMEのままです。 下記のバージョンで試してみます。 Ubuntu 16.04 td-agent 0.12.4(fluentd-0.12.40) Elas
fluentdでElasticsearchにnginxアクセスログを流してみる - abcdefg.....
fluentdでElasticsearchにNginxログを流してみたメモです。 以前、LogstashとBeatsを利用してElasticsearchにデータ投入を試したので、 fluentdでも試してみようと思います。 https://www.fluentd.org/ Nginxのアクセスログをfluentdを利用してElasticsearchに流してみます。 下記のバージョンで試してみます。 Ubuntu 16.04 td-agent 0.12.4(fluentd-0.12.40) Elasticsearch 6.1.1 Kibana 6.1.2 nginx 1.12.2 Elasticsearch Elasticsearch 6.1.1をインストールして起動します。 $ curl -L -O https://artifacts.elastic.co/downloads/elasti
fluentd -> Elasticsearch 大量データ転送でトラブル | diaspora
概要 fluentd でサービスの情報を転送し、Kibana で分析したい これまでの過去データを一度に放り込みたい データの件数が合わない Kibana でエラーが発生する 各種設定を見直すことで対応可能 背景 長い長いミーティングに疲れ、集中力を擦り減らしたアナタは 無意識のうちにブラウザを起動していました。 去年まで勤めていた会社の同僚がシェアした記事が目に止まります。 「fluentd + Elasticsearch + Kibana で今どきのログ分析！」 感化されやすいアナタはおもむろに VM を立ち上げ環境を構築します。 Web サーバから吐き出されたログはオシャレでイイ感じにチャート化され、 満足したアナタは VM を落とし、再び仕事に戻りました。 しばらく経ったある日のこと、ふと気づきます。 「ログだけじゃなくて、ユーザ属性の分析にもコレ使えそう。」 毎度オレオレ管理ペー
Kibanaの運用で注意すること - Carpe Diem
概要 Kibanaをログ可視化＆検索として扱う上でいくつかの問題が生じたので、その時の対処方法をまとめます。 ログ可視化という用途であればレスポンス速度などの優先度は下げられるため、以下の対応が可能になります。 環境 Ubuntu 14.04 Elasticsearch 2.1.1 Kibana 4.3.1 問題１：OutOfMemoryErrorが出る field data cacheのサイズを絞る SortやAggregation(集計)を高速に行うために、各fieldのデータをメモリに載せていますがデフォルトだと無制限に載るため調整します。 /etc/elasticsearch/elasticsearch.yml indices.fielddata.cache.size: 75% ※ 下記のdoc_valuesを使うのであれば設定は不要です doc_valuesを使う キャッシュの際
dstat + fluentd + Elasticsearch + kibana でサーバモニタリングする - blog.nomadscafe.jp
普段はサーバのメトリクス可視化のためにcloudforecastを使っていますが、某案件用に数秒単位で数十台のサーバのメトリクスを表示したいので、記事タイトルのような構成を作ってみた。 dstatでとった各種値の他に、nginxとmemcachedの情報も合わせて表示させています。 セットアップ もろもろのセットアップのメモ 監視サーバ まず、監視サーバにElasticsearchとkibanaをいれる。環境はCentOS6 $ sudo yum install java-1.7.0-openjdk $ sudo rpm -Uvh https://download.elasticsearch.org/elasticsearch/elasticsearch/elasticsearch-1.x.x.noarch.rpm Elasticsearchは特に設定なく起動 $ sudo service
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Kibanaでログ分析を1年続けてみたら業務システムの保守と運用が捗った / How&Why I have been leveraging Kibana for DevOps