Googleの虎の子「BigQuery」をFluentdユーザーが使わない理由がなくなった理由 #gcpja - Qiita
「BigQueryは120億行を5秒でフルスキャン可能」は本当か？ 先日、kaheiさんがGoogle BigQuery（Googleクラウドの大規模クエリサービス）について、こんなエントリを書いていた。 とにかくパフォーマンスがすごい。（Fluentd Meetupでの）プレゼン中のデモで、ディスクに収められた5億件のデータをSQLでフルスキャンするのに3秒しかかからない。9億件のデータを正規表現を含んだSQLでスキャンしても、7秒で終わる（これ、記憶がちょっとあいまい。もう少しかかったかも）。これには驚いた。佐藤さんがGoogleに入社して一番驚いた技術が、一般公開される前のBigQueryだったと言っていたが、その気持ちはわかる。 From Fluentd Meetupに行ってきました これを読んだ時、BigQueryの検索スピードについてちょっと補足したくなった。確かにFluent
Fluentd Meetup に参加しました #fluentd #fluentdmeetup - へろへろもへじ
今日はhttp://eventdots.jp/event/49560 に参加してきました。 会場のフリークアウトさんがとにかくシャレオツでビックリ!! せっかくなので興奮が冷めないうちに、ざっくりですが、発表の内容をまとめました。 登壇者の方のスライドは公開され次第リンクさせて頂きます 情報に誤りがあればご指摘ください 誤字脱字もご指摘頂けると幸いです Fluentd v.1に関するアップデートと今後のロードマップ（仮） トレジャーデータ シニアソフトウェアエンジニア 中川真宏さん (@repeatedly) Fluentd v1 and Roadmap from Treasure Data, Inc. v10(現在)のFluentd logのフォワーディングを安全に ハイパフォーマンスに 任天堂他、著名な企業で使われている 公開されているプラグイン数250以上 CRuby想定で書かれてい
fluentdのストリームを簡単に分岐させる(fluent-plugin-zmq-pub) - Qiita
はじめに fluentdを使っていると、今ストリームを流れているデータを見たかったり、そのデータに対して処理(加工や別fluentdへの送信など)を追加したかったりすることがあります。そんなケースで、fluent-plugin-zmq-pubを使うと便利、という話です。実は一年以上前に書いたプラグインで、自分では便利に使っているのだけど、あまりそのようなことをやっている話を聞かないので書いておきます。 ユースケース ポイントは、一旦fluentdの中に設定を入れてしまえば、その後実際に分岐させる際にfluentdの再起動が不要、言うことと、分岐先の経路でトラブルがあっても本流には(あまり)影響が無い、ということで、以下の様なケースで使えます. 実験的にストリームを別のfluentdにも流したい. でも、そっちのfluentdは(例えば新しいプラグインを使っていたりとかで)安定性に不安がある
Fluentdを使ってアプリ側で吐いたログをAmazonRedshift上のテーブルに登録する - へろへろもへじ
2014年、明けましたおめでとうございます。 年末年始にfluentdに関してちょこちょこ試作しておりまして、TODOはまだあるものの、ある程度まとまったので書き留めておきます。 目的 Webサーバで吐かれたログ（複数ファイル）をRedshift上のテーブルに登録する （なるべくスマートに... 要件（希望含む） Webサーバには負荷をかけたくないので、最低限の仕事のみさせる構成としたい 取り込み対象のログファイルが増えた場合、設定ファイルを極力いじらない構成としたい ログファイルの出力形式はアプリ側で変えない 高可用性、負荷分散を容易にできる構成としたい Redshiftになるべく簡単に連携... ※1,2,4はあたり前田の(ry...ですね 解決案 1.Webサーバには負荷をかけたくないので、最低限の仕事のみさせる構成としたい Webサーバにfluentd(td-agent)を立て、生
Amazon LinuxにFluentdをインストールしてS3とMongoDB連携する ｜ Developers.IO
あらゆるログを収集する 昨年あたりからfluentdという名前をよく耳にするようになりました。弊社での実際のプロジェクト活用が出てきています。そこで今回は備忘録としてセットアップからプラグインのインストール等の基本的な手順を紹介したいと思います。 セットアップ Amazon Linuxにインストールするためにリポジトリを設定して簡単インストールします。 $ sudo vi /etc/yum.repos.d/td.repo [treasuredata] name=TreasureData baseurl=http://packages.treasure-data.com/redhat/$basearch gpgcheck=0 yumでインストールにて自動起動設定します。 $ sudo yum install td-agent -y $ sudo service td-agent start
Norikra+FluentdでDoS攻撃をブロックする仕組みを作ってみた ｜ Developers.IO
Norikraとは Norikraとはリアルタイム集計プロダクトです。イベントストリームに対してSQLライクな言語で処理を書くことが出来ます。 例えば、ApacheのアクセスログをNorikraに流し込み、1分あたりのアクセス数やレスポンスタイムの最大値をリアルタイムに集計することが出来ます。 Norikraの利用例は作者であるtagomorisさんのブログで紹介があります。 今回は、Norikraを使ってDoS攻撃をブロックする仕組みを作ってみました。 DoS攻撃ブロックの仕組み アクセス元はApacheのアクセスログから取得し、ログの受け渡しにはFluentdを利用しました。 ブロックの手順は以下のようになります。 アクセスログをFluentdのin_tailプラグインで取得。 Fluentdのout_norikraプラグインで、アクセスログをNorikraに流し込み。 Norikra
CentOSにfluentdを導入 - Qiita
環境: CentOS6.4 Documentを参照しながら進めていきます fluentd Document fluentdはgemを使ってインストールも出来るようですが今回はCentOSということもあり、RPMパッケージを使ってインストールしてみたいと思います。 Installing Fluentd Using rpm Package Step0: Before Installation(まずやっておくこと) Documentに従い、Before Installing fluentdを行う。 Set Up NTP(ntpサーバーをセットアップ) 参考サイト: http://centossrv.com/ntp.shtml #restrict 192.168.1.0 mask 255.255.255.0 nomodify notrap ↓ restrict 192.168.1.0 mask 2
安定性を強化した fluent-plugin-munin v0.3.2をリリースしました #fluentd - Y-Ken Studio
ログ収集ツールFluentdで、リソース監視データも収集可能となる fluent-plugin-munin v3.0.2をリリースしました。 多数のMunin向けプラグインで採取できるデータを、お好みの間隔でFluentdに流すことが出来ます。 https://github.com/y-ken/fluent-plugin-munin https://rubygems.org/gems/fluent-plugin-munin 今回は不具合修正が主となるリリースです。 今回の主な修正事項 修正履歴より紹介します。 [Bug] munin-nodeへの接続が起動時に失敗すると、繋がるまでリトライを続け、Fluentdが起ち上がらなくなる不具合を修正 [Bug] munin-nodeへの接続が起動後の定期取得時に失敗すると、再度繋がるまで無限リトライとなる不具合を修正 新しいリトライ動作 リトライ
ansibleのログをfluentdに流す — そこはかとなく書くよん。 ドキュメント
ansibleのログをfluentdに流す¶ Chef のログを Fluentd に流す という記事を読みました。Ansibleにもそのための機能があるにも関わらず、あ まり情報がないのでまとめてみました。 callback plugin¶ Ansibleにはmoduleとは別にpluginという機構があります。例えば "{{lookup('file', '/etc/foo.txt') }}" というように使うlookup pluginがあり ます。他にもconnectionやvarsのpluginがありますが、そのうちの一つに、 callback pluginがあります。 callback pluginはその名の通り、いろいろなイベントが発生した時に自動的に 呼び出されるcallbackを登録するためのpluginです。イベントの例としては、 playbookの開始時 taskの開始時
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（2/2 ページ） プラグインで構成されるfluentdの機能 続けて、インプット／バッファ／アウトプットの各層のプラグインがどのように実現され、どのような役割を果たすのか、もう少し具体的に紹介しましょう。なお本記事では、各プラグインの内部的な仕組みの概要のみを紹介します。より具体的な実装方法はマニュアルを参照してください。 インプットプラグイン インプットプラグインは、管理すべきデータを集める機能に特化したプラグインになります。データの入力元として、ログファイルやデータベース、クラウドAPIなどさまざまなソースを対象とすることができます。代表的なプラグインについては、第2回にて紹介します。 インプットプラグインには、主に以下の3つの処理が内部実装されています。 データを入力元
増えるログ、多様化するログをどう効率的に運用するか
増えるログ、多様化するログをどう効率的に運用するか：今さら聞けないfluentd～クラウド時代のログ管理入門（1）（1/2 ページ） 仮想化やクラウド化、モバイル化の進展に伴い、管理すべきログが多様化・肥大化しています。そんな中でも効率よく、意味のあるログ管理を実現するツールとして注目されている「fluentd」を、これから始めたい方のために一から解説します。 システムを安定して効率良く運用していくために、ログ管理は欠かせない要素の1つです。仮想化やクラウド化、モバイル化の進展につれてシステムはますます大規模化し、それに伴い管理すべきログが多様化・肥大化する傾向にあります。 fluentdはこういった中でも、効率よく、意味のあるログ管理を実現するために非常に有用なツールです。本連載では、fluentdの基本と具体的な活用方法を紹介します。 ログ管理の現状と課題 環境の仮想化・クラウド化、さ
virtualbox(centos)でのfluentdインストールメモ(apacheのアクセスログ収集まで) - Qiita
環境 centos6.3（ゲストOS）macosx10.8(ホストOS) ruby1.9.1以上gem1.8.1以上が入ってる前提とする httpd(apache)がインストール済とする fluentdとは ログなどをjson化できるもので日本人の古橋さんが開発したものです。 http://d.hatena.ne.jp/viver/20110929/p1 有名企業でも導入がされています。 slideshare GREE 等 公式ドキュメント http://docs.fluentd.org/articles/quickstart 日本語版（非公式??） http://documents.mazgi.com/fluentd/doc/index.html 開発でよくある「アクセスログを解析してくれーーー」って時に jsonでオブジェクト化されたデータの精査ができるので便利そうです。 （まだ使い始
exception_notification_fluent_logger_notifier というのをつくった - Stats of the Rivers
exception_notification_fluent_logger_notifier という異様に長い名前の gem を作りました。長すぎて RubyGems.org のフォーマットが崩れます。*1 インストールすることで ExceptionNotifier::FluentLoggerNotifier というクラスが生えます。 exception_notification はRack などに仕込んで例外が出たら通知を行なう gem です。 通知の方法として、メールや HipChat などいくつか組み込みの notifier があるのですが、独自の notifier を作成する方法が提供されています。 今回作った ExceptionNotifier::FluentLoggerNotifier は、例外が発生した際に fluent-logger-ruby を経由して Fluentd にデ
Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
fluent-logger について - komamitsu.log
こんにちは。Fluentd Advent Calendar 11日目担当の @komamitsu です。ワイワイ。 Fluentd Advent Calendarにノリで登録したもののfluentd本体やプラグインに余り関わっていないので途方に暮れていましたが、fluent/fluent-logger-java のメンテナンスをしていることもあり、fluent-logger周りのことを書いてやりすごしたいと思います。 fluent-logger-javaの一年 地味な見出しですね。自分でも書いてみて素でちょっと引きましたが、とりあえずfluent-logger-javaに関連した出来事などを... fluent/fluent-logger-java/commits いくつか細かいバグの修正や改善を入れていますが、その中でもTCP切断後の再接続処理やタイムアウトの問題が改善されているので、地
Fluentd update 2013 - Qiita
Fluentd / td-agentのリリースマネージャをしているrepeatedlyです．Fluentd Advent Calendarの8日目の記事になります． 色々とネタはあるのですが，なんかまとめっぽい記事の方が話題になると聞いたので，それっぽいネタで行くことにしました．2日目に「Fluentd 2013年開発・状況まとめ / 2014年に向けて」という開発体制的な話が出たので，この記事ではこの1年でFluentdに入った機能をいくつか紹介することにします． MLには毎度投げているのですが，全部の変更を追うのは難しいとは思うので，バージョンアップの目安にしてもらえればと思います． 各機能の後の()は利用可能になったバージョンです． Fluentd本体 --dry-runオプション (0.10.36) 他のサーバなどにあるconfigtestをするためのオプションです．--dry-r
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
FluentdとRedshiftの素敵な関係
Fluentdcasual 02-haikanko
FluentdとRedisではじめるカジュアルで リアルタイムなレコメンデーション - Fluentd Casual Talks LT #fluentd #fluentdcasual
GitHub - aiming/fluent-plugin-aes-forward: Fluent AES forward plugin