Fluentd、Amazon RedshiftとTableauを用いたカジュアルなデータ可視化 | SmartNews開発者ブログ
ゴクロ改め、スマートニュース株式会社の大平です。 巷間では「bigdata」の活用が叫ばれて久しいですが、弊社はまだまだ小さい規模のスタートアップのため少なくともデータサイズとしてhugeなdataの活用が行える環境ではありません。 であればデータの活用に対する要求が低いか、というとそうでも無く、サービスサイドでも自然言語処理や機械学習を中心としたデータ解析処理がサービスの生命線となっていますし、サービスの裏側でも戦略を立てる上で効果測定や諸々のデータの分析は非常に重要な位置を占めています。 本記事では主にサービスの裏側で求められるデータ解析において、いかにカジュアルにデータを解析するか、の一例として、掲題のような組み合わせによるデータ可視化の事例を簡単にですがご紹介したいと思います。 データ解析基盤を作る側の視点からすると、システムとして求められる要件は以下のようなものだと理解していま
cohakim's blog » Railsからfluentdにイベントログを出力する（開発環境編）
概要 サイトのPVをみて一喜一憂していた牧歌的な時代は今は昔。昨今のサービス運営の現場では「KPIを厳しく管理して、ユーザの動向を逐一監視しながらサービスをスピーディーに作り替えていく」というようなことが行われています。 ユーザの動向を監視するためにはユーザからのアクションを逐次ログに記録していく必要があります。アプリのパフォーマンスログを管理するソリューションなら多種多様なものが出そろった感がありますが、アプリのイベントログの管理となると鉄板と呼べるようなソリューションはまだ見当たりません。現在はどこも手探りでやっているような状態ではないでしょうか。 fluentdはイノベーティブっぽいログシステムです。どうイノベーティブかはこちらスライド（ fluentd を使った大規模ウェブサービスのロギング ）を参照していただくとして、黒歴史クリーナーでも実際のデータに基づいたKPI分析を取り入れ
sumologicってなんじゃ？（sumologic fluent pluginをつくってみた）
ログ解析システムはいろいろあるみたいで、今回はsumologicを触ってみました。 sumologicはサービス型のログ解析システムです。 このサービスについて、また、ログ解析システムが何故必要とされているかは以下のAWS荒木さんのスライドがわかりやすいです。 ログブラウズ、解析サービスSumologicの紹介 http://www.slideshare.net/ar_maniacs/sumologicno さっそく使ってみます。 いままでと同じようにfluentdでデータを入れ込みたいのですが、Sumologic用のPluginはないようです。 ログ収集基盤としてfluentdで統一させたい場合もあるので、今回はSumologic用のプラグインも作ってみます。 Sumologicへの登録と設定 まず、会員登録して、ログインします。 「Get Started Now」をクリックします。 次
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
