Apache Sparkで始めるお手軽リアルタイムウインドウ集計 | NTTデータ先端技術株式会社
バッチを高速にした後はリアルタイムの世界へ！ 現在、さまざまな業種の企業でビッグデータ分析の取り組みが行われている。ビッグデータへの最初の取っ掛かりは、既存のバッチ処理の高速化や、大量の業務データを用いた分析レポートの作成という企業が多いことだろう。そして、バッチ処理の高速化が一段落した次のステップとして、「リアルタイム処理」をテーマに掲げる企業も多いかと思われる。具体的には、 直近10秒間のトラフィックを集計したい。 直近10分間で自社商品がTwitterで話題になった回数を知りたい。 直近10時間での全店舗での来客数を集計したい。 といったリアルタイムなモニタリングを実現したくなるのではないだろうか？こういったモニタリング用の集計は、技術的には「ウインドウ集計（Time-Window Operation）」と呼ばれる。そこで本コラムでは、近頃、「ポストHadoop」として話題のApac
リアルタイム分析を実現する強力なツールシリーズ～Jubatus～
こんにちは！HALです。 今回は、前回の『Kinesisで実現するlot』でご案内したリアルタイムにデータを処理する技術のCEPを実現するためのツールをご紹介したいと思います。 CEPにおいて、一般的に言われている課題点として、「複数の分析を行う場合に処理が複雑になりメンテナンスに負荷がかかる」といわれておりました。 そうした課題を解決できるのが、データに潜むパターンや規則性などを見つけ、それを予測に生かすことができる「機械学習」の技術です。 この機会学習を実現できるソフトの一つに「Jubatus」というオープンソースがあります。 機械学習とは？ 機械学習（Machine Learning）とは、人工知能の研究分野の一つで、人間が事例から学ぶのと似たようなデータからの学習をコンピュータで実現しようとする技術・手法のことです。 センサデータ等を入力して目的別の解析を行い、有用な規則、ルール、
TechCrunch | Startup and Technology News
Parallel Domain is putting the ability to generate synthetic datasets into the hands of its customers. The San Francisco-based startup has launched a new API called Data Lab that stands on the shoulde Multiple subreddits are adopting alternative methods of protesting like publishing only one kind of post, changing the topic in focus, and days when the community turns private. A lot of these commun
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
