Feb 2013 HUG: Large Scale Data Ingest Using Apache Flume
Apache Flume is a highly scalable, distributed, fault tolerant data collection framework for Apache Hadoop and Apache HBase. Flume is designed to transfer massive volumes of event data in a highly scalable way into HDFS or HBase. Flume is declarative and easy to configure and can easily be deployed to a large number of machines using configuration management systems like Puppet or Cloudera Manager
【CyberAgent】技術情報／TechReport - テックレポート／FlumeとGrowthForecastを使ったリアルタイムログ解析 | 株式会社サイバーエージェント
1. 概要 行動ログの分析が日増しに重要度を増していく中で、時間ごとの定期バッチでの処理ではなくリアルタイムな解析が今必要とされている。この要望に対して、リアルタイムログ収集ツールである「Flume」とWebAPIを利用したグラフ化ツール「GrowthForecast」を組み合わせてリアルタイムログ解析システムを構築した。その結果、これらの組み合わせでのシステム導入が容易であることがわかった。また、実際にブログ閲覧のPVを元に、そのアクセスの差分を取ったグラフを作成した結果、急激なアクセス増加の兆候を得られる可能性があることが示した。導入のハードルの低さとカスタマイズの自由度から、将来的に多数のシステムに導入できると私は考える。本論文では、これらの詳細をレポートする。 2. 目次 3. 序論 最初に本研究の動機となった背景を述べ、解決するために選んだツールについて、その選択した理由と内容に
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
[FLUME-931] Flume NG TailSource - ASF JIRA
