31データクレンジング方法
データマイニングでは、データが膨大となっている場合があります。ここまでデータ量が大きくなると計算量の問題で解析時間がかかりすぎるという問題が起き、色々なデータマイニング技法を試行することができません。 それでは、大規模データに対抗するためにどうしたらいいでしょう？ 今、著者が思いついたものを挙げてみると １．高速なマシンに期待する ２．大規模でも計算する手法を編み出す ３．仮説を立てて絞り込んで挑戦 ４．サンプリングして、そこそこの量のデータで試す ５．それでもじっくり処理が終わるのを待つ ということをとりあえず思いつきました。（他にある場合は教えてください） それでは、以上の項目をデータマイニングとして検討してみましょう。 【１番：高速なマシンに期待する】高速マシンに投資することは基本的に有効です。30年前の計算機ではどうやっても不可能であった計算処理であっても技術
オバマ勝因はデータマイニング：Obama's Data-Driven Campaign @Time
This is "cave" where Obama's army of data crunchers analyze the megafile collected from 2008 campaign (pollsters, fundraisers, field workers, consumer databases, Democratic voter files, and social-media and mobile contacts) and ran the election “66,000 times every night” in order to figure out Obama’s chances of winning each swing states. Wow. Just. Wow. オバマ大統領再選の勝因が様々に論じられているが、どれも説得性に欠ける。だいたい「11の
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopを用いた大規模ログ解析
