並び順

ブックマーク数

期間指定

  • から
  • まで

1 - 40 件 / 88件

新着順 人気順

norikraの検索結果1 - 40 件 / 88件

  • dockerなら5分で動く! nginxのログをfluentdで集めてnorikraでストリーム分析 - Qiita

    はじめに ようへいさんのポストを参考にしてdocker上でnginxとfluentdとnorikraを動かせたので、docker indexにイメージを掲載した。dockerのある環境ならあっという間に動くはず。 準備 dockerが動くこと ホスト側でfluentd用のファイルディスクリプタ設定を済ませていること 手順 norikraを動かす まずはログの集約先となるnorikraを動かす。 $ sudo docker run -p 26578:26578 -p 26571:26571 -p 24224:24224 -p 24224:24224/udp -d kazunori279/fluentd-norikra-server $ sudo docker ps CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES 7874efdd2e

      dockerなら5分で動く! nginxのログをfluentdで集めてnorikraでストリーム分析 - Qiita
    • Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた | Developers.IO

      Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra

        Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた | Developers.IO
      • リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita

        リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。ElasticsearchDockerNorikraKibanafig このエントリーはドワンゴアドベントカレンダー17日目のエントリーです。 ストリーム処理エンジンのNorikraについて、最近聞くことが増えてきました。 使ってみたい方は結構いるのではないでしょうか。 とは言え、「ストリーム処理を試してみたい、環境構築してやってみよう」と思っても、JRuby入れてNorikra入れて、fluentd入れてNorikraとのin/outの連携して、集計結果を格納する為にElasticsearch構築して、Kibanaから見れるようにして、認証機構や改廃の機構も入れて...あ、ストリームソースも用意しなきゃ...となって、そこそこ手間が掛かりま

          リアルタイム集計・可視化環境(Norikra+Kibana4+Elasticsearch+Fluentd+Nginx)をfig一発で気楽に立ち上げる。 - Qiita
        • ログ解析にNorikraを使ってみた - hase log

          この記事は、CyberAgent エンジニア Advent Calendar 2014 の 17 日目の記事です。 昨日は@neo6120さんのアドテクスタジオのゼミ制度の紹介と活動報告 でした。 18日目は@sitotkfmさんのSpark StreamingでHyperLogLogを実装してみたです。 弊社で、プラットフォーム機能の一部を作らせて頂いている、@hase_xpwです。 @kakerukaeruさんにやろうぜ!って誘われたので参加してみました これを機にブログもっと更新したいと思います! 今回のテーマは、Norikraというミドルウェアで、業務でログ解析をする際に使ってみた所かなり便利だったのでNorikraの魅力を少しでもお伝えできればいいなと思いテーマに選びました。 これおかしくね?みたいなのがあったらバシバシ指摘して頂きたいです。 環境構築と使い方は、わかりやすくまと

            ログ解析にNorikraを使ってみた - hase log
          • Norikra v1.0.0 - たごもりすメモ

            English article 以前からスキーマレスなストリーム処理をSQLで!というソフトウェアとして作っていたNorikra、このたびあちこち機能改善したりしたので、既にお仕事で絶賛稼働中ということもあるし、区切りとして v1.0.0 としてリリースした。 ついでにロゴとかも作ったので、なんとなくいい感じになりつつある。 https://rubygems.org/gems/norikra/versions/1.0.0-java http://norikra.github.io/ 修正点は リポジトリ のChangesに書いてあるが、curlだけで操作できるようHTTP JSON APIが加わってたり、GCまわりでハマらないようなデフォルトオプションが入ってたり、分析系クエリを書きたい人のために Group-by with Rollup や Grouping sets, Cube などの

              Norikra v1.0.0 - たごもりすメモ
            • メルカリでのNorikraの活用、 Mackerelを添えて

              Gazelle & CPAN modules for performance. Shibuya.pm Tech Talk #17 LTMasahiro Nagano

                メルカリでのNorikraの活用、 Mackerelを添えて
              • Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog

                背景 webアプリを書いていると,以下のようなロギングコードを至る所にちりばめる事になると思います. $c->log(error => "Chou Yabai ERROR!"); ただいくらログを吐いても,アプリのログからは片時も目を話さないよ!!みたいな真面目なエンジニアじゃない限り,せっかく吐かれたログに気づけないとかあるわけです. そこで特に重要なログについては別途ikachanとかでIRC等にpostするコードを入れといて,即応できるようにしてることと思います. でも,levelがerrorとかcriticalで吐かれてるログって全部重要だし全部すぐ知りたくね?それにいちいち別途ikachanするコードとか入れるのめんどくね?っていう需要があるわけです. そこでロガーメソッドにif ($level == 'error') { post_to_irc($message) }みたいなコ

                  Norikraでログ集計してアプリのエラーを素早く検知しようという話 - kawamuray's blog
                • Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ

                  Norikra とは Norikra とはリアルタイムイベントストリームに対して SQL ライクな言語で処理できる cool なプロダクトです。 例えば、Nginx のアクセスログを Norikra に流し込み、n分あたりのアクセス数やレスポンスタイムをリアルタイムに集計するといった事が可能です。 もちろん Nginx だけではなく、ご自身が書かれたアプリが出力するログも流し込んで集計できます。 更に Fluentd を組み合わせると GrowthForecast や Mackerel といったツールに集計結果を渡して可視化するなどといったことも容易なので、速報値集計やシステム運用状況の可視化に持ってこいです。 Fluentd と Norikra を活用して可視化する例 fluent-plugin-norikra と可視化ツール(GrowthForecast等)を組み合わせるとすぐに可視化

                    Fluentd と Norikra をもっとカジュアルに使おう - まいんだーのはてなブログ
                  • Norikra: Stream processing with SQL for everybody

                    Schema-less Stream Processing with SQL Norikra is a open source server software provides "Stream Processing" with SQL, written in JRuby, runs on JVM, licensed under GPLv2. Schema-less event streams (called as 'target') Input/Output event streams as JSON objects, which can contain any fields with a target name. SQL processing Norikra's query is SQL with window specifier support (It's actually Esper

                    • fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog

                        fluent-plugin-datacounter を norikra に置き換えるべき理由と設定方法 - sonots:blog
                      • Fluent Dashboard+Norikraでリアルタイムダッシュボードを7分で作る話 #dockerjp - Qiita

                        Fluent Dashboardって? Fluent Dashboardは、Fluentdで集計したデータをグラフやテーブルで表示できるGoogle Spreadsheet。fluent-plugin-https-jsonを使ってイベントログを送ると、以下のようにリアルタイムにデータを表示してくれる。 使い方 詳しい使い方はREADMEにある通りで、Spreadsheetをコピーして公開設定等をポチポチするだけで準備完了。3分もかからない。あとはfluent-plugin-https-jsonのログ送信先URLとしてFluent SpreadsheetのエンドポイントURLを指定すれば動き始める。 集計ログの表示向け 任意のFluentdログを受け取ってグラフやテーブルを描けるけど、大量のログを直接受け取ることはできない。集計後のログを3秒に1回ほどの割合で受け取って表示する、といった使い

                          Fluent Dashboard+Norikraでリアルタイムダッシュボードを7分で作る話 #dockerjp - Qiita
                        • Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて

                          2.2. システム処理イメージ ログを解析する仕組みとして、こんなフローを考えてみました。 (1) OpenStackが出力するログを、ログ中継サーバーへ集約する。 (2) 集約したログをElasticsearchとNorikraへ送信する。 (3) Norikraへ送られたログを、SQLストリーミング解析にかける。 (4) 解析の結果は問題の有無に関わらずElasticsearchへ格納し、異常が検出された場合はZabbixへ通知する。 (5) 通常のサーバー監視はZabbixが行う。 (6) (2)、(4)でElasticsearchへ送られたデータはKibanaを使用して可視化する。 図 1 システム処理イメージ 3. ログを収集してグラフ化してみる。 まずは、OpenStackの各コンポーネントが出力するログ量の推移と、API実行数の推移のグラフ化してみました。ログメッセージの内容

                            Fluentd+Elasticsearch+Kibana+Norikra+Zabbixを使ってOpenStackのログ解析してみた | 技術畑 | 情報畑でつかまえて
                          • norikra を試す(1) - ようへいの日々精進XP

                            はじめに Fluentd Casual Talks #3 で norikra の作者である @tagomoris さんのお話を伺ってからずっと試したいと思っていてやっと試せたのでアウトプット。 参考 Norikra 0.1を使ってみた Norikraで遊んでみた fluent-plugin-norikra #fluentdcasual Norikra in action http://esper.codehaus.org/ 5.1. EPL Introduction 5.2. EPL Syntax norikra とは 自分の認識、でも百聞は一見に如かず ちゃんと理解出来ていないけど...以下のような認識でいる。 ログ等のストリームデータを SQL ライクなツールを使って検索出来るツール 例えば、fluentd で処理しているログに対して SQL に似た感じの検索クエリを投げて結果を処理出

                              norikra を試す(1) - ようへいの日々精進XP
                            • Norikra等JavaアプリケーションのGCをチューニングしたい - Qiita

                              Javaアプリケーションを運用していると必ず突き当たるのがGCの問題である。JVMの上で生きている限りこの問題を避けて通ることはできない(し、この問題に手をつけたら終わりだとも聞いたことがある)。NorikraはJRubyで記述されているJavaアプリケーションであり、用途からして大量のオブジェクトを作って破棄していることが容易に想像できるので、GCのチューニングは重要であることが考えられる。 GCのログをとりたい チューニングしたいのであれば、まずはともあれロギングである。ログなくしてチューニングすることなどできない。ということでまずはGCのログをとる。 $ norikra start -Xmx4g -Xms4g -Xloggc:/var/log/norikra/gc.log -XX:+PrintGCDateStamps -XX:+PrintGCDetails

                                Norikra等JavaアプリケーションのGCをチューニングしたい - Qiita
                              • NorikraのJVMチューンで苦労している話

                                Web Framework Benchmarksと Perl の現状報告会 YAPC::Asia Tokyo 2014 LTMasahiro Nagano

                                  NorikraのJVMチューンで苦労している話
                                • Norikraを支える謎技術:Esper EPLっておもしろ。 | DevelopersIO

                                  Norikra使ってますかー? もちろん使ってますよね! Norikraって内部ではEsperTech Inc.がオープンソース公開しているEsperというJavaベースのガチなCEP (Complex Event Processing)エンジンを利用していて、そのクエリ言語であるEPL (Event Processing Language)を用いることで、 a highly scalable, memory-efficient, in-memory computing, SQL-standard, minimal latency, real-time streaming-capable Big Data processing engine for historical data, or medium to high-velocity data and high-variety data.

                                    Norikraを支える謎技術:Esper EPLっておもしろ。 | DevelopersIO
                                  • fluentd pluginで集計処理をする(Norikra以外で) - Qiita

                                    はじめに 世間的には「fluentdで集計 ≒ Norikra!!!!!」という流れで、それに対して一石を投じる気のかけらも私には無いわけですが、Norikraを用いるまでもない軽微な処理を実行する場合fluentdのプラグイン単体で処理を完結したいケースもあり、そしてNorikraが若干重厚に映るケースもあります(JRuby!! Esper!!!) ということで、集計が行えるようなfluentd pluginについてまとめてみます。チョイスは僕の独断と偏見です。 ユースケース fluentdの基本的なユースケースは、inputとして入力をしたデータをoutput先にrelayする、というものです。そして集計処理は、多くの場合output先のシステム内、もしくはシステムに蓄積されたデータを用いて別のシステムを用いて行う事が多いと思います。 (ex. HDFSに保存したログデータをHiveを

                                      fluentd pluginで集計処理をする(Norikra以外で) - Qiita
                                    • NorikraでリアルタイムUU数表示を実現する

                                      どーも、れもんです。みなさんNorikra使ってますか? えっ使ってない? まぁストリーム集計処理っていうのがなかなか使いどころ難しいですものねー。よっぽど速報値が必要な場面じゃないと出番がないし、ぼくもインストールしたけどほぼ使ってないという今日この頃です。 ということで! 今回はNorikraを使うとっかかりとして、最近リリースしたサービスのユニークユーザ数をリアルタイムに出したいなぁというお題をNorikraでやってみることにしました。 もともとそのサービスではネイティブアプリにGoogle Analytics SDKが入っててそれを使えば直近5分のリアルタイムユニークユーザ数は見えているのですが、サーバ側でもそれを計測したいということで、そこをNorikraでやってみることにしました。 理由は、よく出来たアプリだと幾つか画面を遷移していても通信しなくてよいように作られていて、クライ

                                        NorikraでリアルタイムUU数表示を実現する
                                      • Norikraで遊んでみた - Qiita

                                        Norikraも0.1になり、この内容もかなり古くなりました。 Norikra0.1にあわせて新しく書き直しているので下記内容をご参照ください! Norikra 0.1を使ってみた Norikraで遊んでみた。 RubyKaigiで@tagomorisさんが発表していたNorkraをとりあえず手元で動かしてみた。すごく簡単に説明するとFluentdみたいなデータストリームをSQLライクな言語でごにょごにょできるものである。 NorikraのスライドはSlideShareにあるので是非見ておこう。 Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi この記事はおそらく一瞬で古くなると思うが、環境は次のような感じだ。 product version

                                          Norikraで遊んでみた - Qiita
                                        • Norikraでwebサービスを守る話をしてきた - 酒日記 はてな支店

                                          Norikra meetup #2でLTをしてきました。LTといいつつ時間に余裕があったので15分以上しゃべっていたような… atnd.org 発表資料はこちらです。 speakerdeck.com Norikraで不正アクセスの兆候があるアクセスログを検知して、検知次第IPアドレスをmemcachedに突っ込んでそれをもとにアクセスをブロックする、というネタでした。 ログの流し込みが詰まった場合に誤爆しないように、結果のtimestampに1分以上の間隔があった場合は max(time) - min(time) で補正するとか、クエリに後処理で使うための定数を埋め込んでおくことでクエリごとに挙動を調整しやすくするとか、そんなかんじの細かい工夫をしています。 あと皆さん気になっていたNorikraの冗長化ですが、active-standby構成であればすぐできる気はします。 うちはいまst

                                            Norikraでwebサービスを守る話をしてきた - 酒日記 はてな支店
                                          • Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来

                                            ご存知の通り、ApacheのVirtualHost(以下vhost)、所謂、Webサーバの仮想ホストは単一のApacheで複数のホストを処理しています。そのため、複数のvhostを含めたCPU使用量といったリソース使用量をグラフ化することは簡単なのですが、vhost単位となると各vhostへのリクエスト単位でのリソースを計測しておかないとグラフ化することはできません。そういう意味でvhost単位でリソース使用量をグラフ化しようとすると一気に敷居が上がってしまいます。 また、uid毎に実行プロセスを分離しておけば、pacctといったプロセスアカウンティング機能でuidのカウントはできますが、リアルタイムの計測(秒とか分のオーダー)にはコストが高かったり、vhostで提供しているコンテンツによっては、Apache権限で配信されているものもある(静的コンテンツ)ため、正確に計測することは難しくな

                                              Webサーバの仮想ホスト単位のリソース使用量をFluentd+Norikra+GrowthForecastでグラフ化 - 人間とウェブの未来
                                            • OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ

                                              みんな大好きFluentdはプラグインも自由に書けて好き放題にリアルタイム集計を行うことが可能なわけですが、やりたい処理にあわせて無限にプラグインを書き続けてるとプラグインの数が爆発し何がどんな処理をしているのかもよくわからず混乱の海に呑まれて消えるという未来がみなさんの脳裏にもおそらく想像されていることと思います。 で、世の中にはCEPエンジンというものがあってストリーム状に流れてくるイベントデータに対して処理を行う仕組みがあるわけですね。これ使いたい! しかもあれだ、簡単に処理が書けるものがいい! 何が言いたいかと言うとWE NEEEED xQL!!!!!!!!!!!!!!! そんなようなことをこちらのエントリを書いたときに思ったわけです。 http://tagomoris.hatenablog.com/entry/2013/02/19/142017 で、RubyKaigiにも通っちゃ

                                                OSS CEP Server 'Norikra' v0.0.1 released! - たごもりすメモ
                                              • Norikraで作るPHPの例外検知システム YAPC::Asia Tokyo 2015 LT

                                                『How to build a High Performance PSGI/Plack Server』のその後と ISUCON3を受けての話題Masahiro Nagano

                                                  Norikraで作るPHPの例外検知システム YAPC::Asia Tokyo 2015 LT
                                                • Norikraでそこそこ手軽にNetFlow解析 - yunazuno.log

                                                  去年のJANOGで別の方が発表された内容とダダ被りではあるものの,折角なのでメモ程度に書いておく. 概要 データセンタネットワークやバックボーンネットワークの運用をやっていると,インターネットに出入りするトラフィックの内訳 (どのISP向けのトラフィックが多いのか,どの回線にトラフィックが乗っているか,等) を見たいことがよくある NetFlowをNorikraで解析し,その結果をGrowthForecastに流し込むと,トラフィックの内訳をそこそこ手軽に見ることができる 定常的なモニタリング用途以外に,突発的なトラブルシューティングにも使えていろいろ便利 背景 自前でAS (Autonomous System) を運用している事業者では,トラフィックのコントロールの観点から,「どのAS向けのトラフィックがどのくらいあるのか」「このASとはどの回線を使って通信しているか」といった情報を知り

                                                    Norikraでそこそこ手軽にNetFlow解析 - yunazuno.log
                                                  • #Fluentd + #Norikra でaccess.logとかdstatを扱うめも - Qiita

                                                    あとでblog書く、たぶん。 とりあえず途中経過メモ。 nginxの設定 LTSVで扱いたいのでこちらを参考にこんな設定ファイル書いて、 # cat /etc/nginx/log_format.conf log_format ltsv 'time:$time_iso8601' '\tremote_addr:$remote_addr' '\trequest_method:$request_method' '\trequest_length:$request_length' '\trequest_uri:$request_uri' '\thttps:$https' '\turi:$uri' '\tquery_string:$query_string' '\tstatus:$status' '\tbytes_sent:$bytes_sent' '\tbody_bytes_sent:$body_b

                                                      #Fluentd + #Norikra でaccess.logとかdstatを扱うめも - Qiita
                                                    • Norikraのクエリをテキストファイルで管理する - 酒日記 はてな支店

                                                      Norikra に登録されているクエリが大量にある場合、WebUIで登録、編集をしていると複数人での共同作業で管理しきれなくなるため、クエリをファイルにしておいてリポジトリで管理したくなります。 norikra-clientには query add, remove, suspend, resume などの機能が従来からありますが、add, removeは冪等でないため登録されているクエリに対して再度実行するとエラーになるので状態管理は難しい。 ということで、norikra-client に query dump query sync という機能を追加して 1.3.1 で取り込んでもらいました。これで JSON によってクエリを管理し、Norikraと同期することができます。 $ norikra-client query dump > dump.json [ { "name": "test"

                                                        Norikraのクエリをテキストファイルで管理する - 酒日記 はてな支店
                                                      • Zabbix+Pacemaker+Fluentd+Norikra+Jenkinsで監視、クラスタリング、ログ収集/解析、バックアップ

                                                        Zabbix+Pacemaker+Fluentd+Norikra+Jenkinsで監視、クラスタリング、ログ収集/解析、バックアップ:Elasticsearch+Hadoopベースの大規模検索基盤大解剖(終)(1/2 ページ) リクルートの事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する連載。最終回は、監視、クラスタリング、ログ収集/解析、バックアップに使っているOSS技術と、その使いどころを紹介する。 連載目次 リクルートの全社検索基盤「Qass」の事例を基に、大規模BtoCサービスに求められる検索基盤はどう構築されるものなのか、どんな技術が採用されているのか、運用はどうなっているのかなどについて解説する本連載。 最終回となる今回は、前回の「AWS+オンプレのハイブリッドクラウド

                                                          Zabbix+Pacemaker+Fluentd+Norikra+Jenkinsで監視、クラスタリング、ログ収集/解析、バックアップ
                                                        • Norikra defends web service

                                                          Norikra meetup #2

                                                            Norikra defends web service
                                                          • Norikra vs InfluxDB : sonots:blog

                                                              Norikra vs InfluxDB : sonots:blog
                                                            • Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi

                                                              Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi

                                                                Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigi
                                                              • Norikra meetup #2 に参加してきた - 絶品ゆどうふのタレ

                                                                https://atnd.org/events/65969 Norikraをつかいたいなーという気持ちを主張するためにとりあえずmeetupに参加してきた。 画面黄色かった だいたいみんな監視系で使ってた だいたいみんなSPOFで困ってた Gunosyさんは処理量もあってか冗長化してたもよう やっぱ便利そう 使いたい AWS Summitからのはしごだったのでさすがに疲れた。。。 メルカリでのNorikraの活用、Mackerelを添えて メルカリでのNorikraの活用、 Mackerelを添えて from Masahiro Nagano kazeburoさん Mercari いかに早くスムーズにサイクルを回すか Zabb....? いいことはいっぱい 煩雑だしめんどくさい DevとOpsで情報を共有 MetricsをDevと共有 これを何とかするのに、fluentd経由でkibana

                                                                  Norikra meetup #2 に参加してきた - 絶品ゆどうふのタレ
                                                                • SQLでストリーム分析ができる「Norikra v1.0.0」公開

                                                                  SQLクエリでストリームデータ分析系の操作ができるNorikraを、LINEに勤務する田籠氏がOSSで公開。「ユーザーフレンドリーなストリーム処理を理解している初のソフトウェア」だという。 SQLでスキーマレスなストリーム処理ができるオープンソースのサーバーソフトウェア「Norikra」が2014年5月20日、「バージョン1.0.0」としてリリースされた。作者の田籠聡氏がブログで発表した。併せて新しいロゴも公開している。 NorikraはLINEに勤務するプログラマーの田籠氏が開発したソフトウェアで、ライセンスはGPLv2を利用している。スキーマレスなイベントストリーム(「target」と呼ばれる)を特徴としており、データのインプット/アウトプットはJSONオブジェクトとして扱える。 NorikraはEsperというストリームデータ用ライブラリをベースに、より使いやすい実装を目指して開発さ

                                                                    SQLでストリーム分析ができる「Norikra v1.0.0」公開
                                                                  • norikra-listener-mackerel で Norikra のクエリ結果を直接 Mackerel に投げる - 酒日記 はてな支店

                                                                    Norikra でクエリした結果を Mackerel に投げたい場合、これまでは fluent-plugin-norikra で取得して fluent-plugin-mackerel で送信する、という作りにしていたと思います。 Norikra 1.2以降では Listener plugin が使えるようになったので、クエリ結果を直接 Norikra 上で扱うことが可能になりました。 ということで、norikra-listener-mackerel (rubygems) を書きました。Norikra 単体で、クエリ結果を Mackerel のサービスメトリクスとして送信できます。 使い方 $ gem install norikra-listener-mackerel norikra が動作する ruby でインストールすれば、norikra start 時に自動的に読み込まれます。 クエリ

                                                                      norikra-listener-mackerel で Norikra のクエリ結果を直接 Mackerel に投げる - 酒日記 はてな支店
                                                                    • Stream processing and Norikra

                                                                      Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiSATOSHI TAGOMORI

                                                                        Stream processing and Norikra
                                                                      • fluentdと連動して集計処理を行うNorikraの導入方法

                                                                        NorikraをCentOS6にインストール ビックデータ時代のログ管理ソフトfluentd。 その利便性と安定した動作から、業界ではログ管理の標準になりつつあります。 そんなfluentdにも苦手な分野があります。 条件を指定した集計処理です。環境によって異なる集計処理を実装するには数値を操作するプラグインを組み合わせる必要がありました。 カウント処理で言えば「fluent-plugin-datacounter」。小数点を切り上げるには「fluent-plugin-amplifier-filter」といった具合です。 そうした集計処理をSQLライクな文法で手軽に追加できるのが、今回導入するNorikraです。 今回はCentOS6系での導入を例に解説します。 目次 Norikraとは Norikraの導入方法 rbenvの環境にRubyをインストール rbenvの環境にjRubyのインス

                                                                          fluentdと連動して集計処理を行うNorikraの導入方法
                                                                        • 多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った - 工作とかオーディオとか

                                                                          1ヶ月ほど前になりますが、多段Norikraを簡単に試せるようにするNorikra Listenerプラグインを作りました。 norikra-listener-norikra | RubyGems.org | your community gem host github.com なぜ作ったか? ログ量が増えてくると1台のNorikraではさばくことができなくなります。 そうした場合には数台のサーバーごとにNorikraを1つ立てて、その後段に各Norikraの実行結果をまとめるNorikraを立てることで、スケールさせることができます。 例: Norikra in Gunosy Network Ads@Norikra meetup #2 // Speaker Deck その際に前段と後段のNorikraをつなげるために、従来は下図のbeforeように間にfluentdを挟む必要がありました

                                                                            多段Norikraが楽になるNorikra-listener-plugin-Norikraを作った - 工作とかオーディオとか
                                                                          • Norikra Meetup #2 参加レポート - 無印吉澤

                                                                            イベントページ: Norikra meetup #2 : ATND 僕自身はNorikra使ったことないのですが、周囲には使っている人がいて評判も良いので、他の人のユースケースも聞いてみたい、あわよくば自分とこの業務にもねじ込みたい、と思い参加してきました。期待通り、ユースケースを色々聞けて面白かったです。 今回聞いたNorikraのユースケースには、大体以下のような共通点がありそうに感じました。 ステータスコードごとの件数を集計するために使っているところが多い Norikraでの集計結果は、Fluentdを介して、他のツール(MackerelやらZabbixやら)に渡す Norikraが落ちたら落ちたで諦めるという割り切りで使う(冗長化はcold standby程度) 同じデータをデータベースにも流し込み、Norikraはあくまで速報値やアラート用に使う メモリを大量に積んだマシンを用意

                                                                              Norikra Meetup #2 参加レポート - 無印吉澤
                                                                            • fluent-plugin-norikra #fluentdcasual

                                                                              Complex Event Processing on Ruby, Fluentd and Norikra #rubykaigiSATOSHI TAGOMORI

                                                                                fluent-plugin-norikra #fluentdcasual
                                                                              • Norikra meetupやってきた - たごもりすメモ

                                                                                Norikra meetup : ATND DeNA Technology Seminar #Norikra meetup Norikra がいい感じになってきたので、ユーザ(とコミッタ)もうちょっと増えないかなーと思い、Norikra meetupという勉強会をやった。会場、Ustream中継および懇親会を:DeNAさんにご提供いただきました。いつもいつも本当にお世話になっていますが、すばらしい会場をありがとうございます。 定員80人に対して参加は話す人も含めて60人ちょっとくらい? 自分が最近主催した勉強会はもっと出席率良かった気がするので気にしてなかったら、今回は少し低かった。もうちょっとサバ読んだ定員にしておけばよかった。補欠も含めた申し込み数は結局170人とかのままだったので、もったいなかった。 とはいえ、聞いてみたところこれから試してみる!という人がけっこういそうだったので嬉し

                                                                                  Norikra meetupやってきた - たごもりすメモ
                                                                                • Norikra Meetup #1に参加してきました - 随所に主と作れば、立処皆真なり

                                                                                  比戸(@sla)です。お手軽なストリーム向けSQL処理系Norikraの勉強会に参加してきました。 一言で言うと、「Norikra使われてるんだ」感と、「(自分でも)Norikra何かに使えそう」感が同時感じられる、濃密な素晴らしい勉強会だったと思います。ハッシュタグも活発で、Togetterはこちらでまとめられています。 まず開発者の@tagomorisさんのオープニング。 "Stream processing and Norikra" ストリーム処理のバッチ処理との違いや狙い、簡単な使い方がわかりやすく説明されてます。 続いて@fubaさんのレポーティングの話。 "norikra を使って速報レポート集計してみた" 元々Hiveを使っていた速報集計クエリが シンプルかつ短時間で実行可能になったそうです。 id:kawamurrayさんのアプリログ監視の話。 「Norikraでアプリログ

                                                                                    Norikra Meetup #1に参加してきました - 随所に主と作れば、立処皆真なり