“統計の基礎を無視している”Hadoop使いが考えるビッグデータ

Hadoopをバッチ処理の高速化に活用しているノーチラス・テクノロジーズは、ビッグデータのブームに真っ向から異論を唱える。「ビッグデータは中身のないバズワード」と断言する代表取締役社長 神林飛志氏に、その真意を聞いた。 Hadoop＝ビッグデータは大きな誤解 ノーチラス・テクノロジーズは、基幹系システム向けのミドルウェアを手がける国産ベンチャー。Webサービスのように決して派手ではないが、「そもそもダウンすると、飛行機が飛ばないとか、病院で人が死んでしまうとか、電車が動かないとか、生活に影響が出る分野」（神林氏）という、まさにミッションクリティカルな領域のITで、同社の製品は活用されている。 同社の「Asakusa Framework」は、Hadoopを活用した分散処理により、基幹系バッチの高速化を実現する。神林氏は、「Hadoopというと、WebやSNS系、BIやデータ解析での使い方がメ

[steel_eel]

1000人や2000人のサンプリングでは検出できない、1万人に1人とかの『例外』をきちんと検出して、例外って言っても日本に1万人くらい居るからな！と新しい商売に繋げるのがビックデータの活用だと思ってたが。

[AOI-CAT]

つまり統計学に頼らなくても、実用的な時間・処理で正確な値が出せるようになったってことだな。あと、例外とか外れデータは楽しい、役に立つかどうかは別で。

[masadream]

これexcellent。超冷静。最終パラグラフは確認必須→「そもそも統計学はビッグデータを不要にする技術なはず」

[sucrose]

機械学習的には，手法も大事だけどデータの量や質を改善しても結果が良くなると聞く．てきとうな手法で試す分にはデータが多いほうがうまくいくと思うけど……

[kazuph1986]

「統計をやっている人がビッグデータに関して沈黙しているのはデータを全部分析した方が正確なのを理解しているから。そこは確かに弱点だが裏ではビッグデータなんてなくても既存の統計で十分と思っているはず」

[tagomoris]

これ、よくアスキー載せたなｗ 日経には載らないだろうなあ

[EulerDijkstra]

いわゆるビッグデータの分布は汚くてスパース。統計の理論が通用しないかもだし、全体を分析する価値はある。俺は集計済みの統計的に扱いやすいデータを解析するべきというスタンス。ビッグデータはバズ。

[you21979]

「そもそも統計学はビッグデータを不要にする技術なはず」

[kuyo4sr]

統計。

[nanoha3]

ビッグデータで今出せる結果の信頼度が1%上がったことはどうでも良くて、今出せる結果以上に細かい結果が見えるようになったということが重要でしょ。より細かいケースが高い信頼度で見えるようになった。

[atyks]

『そもそも統計学はビッグデータを不要にする技術なはず』

[Kshi_Kshi]

Asakusa Framework

[witchstyle]

(2012/05/09の記事)

[pho]

すべてのTVにセンサーを付けるなら、視聴率を調べるんじゃなくてpersonalizeされた番組表を作ればいいと思うのだが、視聴率を調べるという発想から抜け出せない人がいるわけか。

[tgk]

「ワンショット数千万～1億円くらいだった分析系の案件も、数百万円台まで大きく下がっているのが実情」「これは顧客が分析に出す金がなくなっているのと、一度やったが投資対効果がなかったと判断している証拠」

[hazisarashi]

ビッグデータを超DISってるｗｗｗｗいいわｗｗｗｗ

[otchy210]

amazon は、統計的手法の効かない母数の少ないロングテールにすらレコメンドすることを可能にしたから儲かったんじゃないかな。とは言え、大半のケースで不要というこの記事の主張は揺るがないと思う。

[peketamin]

この人が言いたかったことは、性能を出しきるために採用したのがたまたまHadoopで、バズられずにちゃんと自分で道具の選定をしましょうね、ということなのかな、と思った

[richard_raw]

「そもそも統計学はビッグデータを不要にする技術なはず」おおー、一刀両断。

[suginoy]

ろくろの新しいトレンドになるか。

[gikazigo]

ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

[Makots]

ビッグデータに対するもやもや感を代弁してもらってる感じや

[eigokun]

写真も機嫌悪そう

[kamatamadai]

統計学に基づき適切なサンプリングをすればビックデータは要らないはず。リコメンドは特殊な例とのこと

[kenkoudayori]

ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

[Dursan]

「イベント」単位で収められてるデータを「人」単位までまとめないと困る時があるので、丸呑みにできないです。

[SasakiTakahiro]

ビッグデータはどんどん小さくなっている。

[gohantaberu]

企業から金を引き出すための言葉って毎年あるよね　それとおんなじ。少し前のweb2.0みたいなもんだｗ

[takuya_1st]

HadoopはCPUとディスクを使い切るための技術。それでFA。

[tak4hir0]

ASCII.jp：“統計の基礎を無視している”Hadoop使いが考えるビッグデータ｜百家争鳴！ビッグデータの価値を探る

[myopomme]

ニーズがあるから技術が生まれるはずが、技術のためにニーズを生み出す行為なのか？

[raimon49]

言ってることは頷けるけど、ギガバイトクラスのデータまでビッグデータって呼んでるのは、どこ界隈の話なんだ？　SIerでそうやって売り込んでるのかな。

[min2-fly]

"よく話題になるビッグデータの量に関しては、「当初はペタバイトクラスのデータと言っていたのに、そんなデータはないからと、テラバイト、ギガバイトまで容量が減ってきた" GBでビッグってことはないわな

[yuji1982]

完全に同意。そのうえで自分の仕事にHadoopがどこで活用できるかなぁ、と思ってる。

[hisyamichi]

そういう見方もあるよね

[abrahamcow]

基本的にはたぶん正論なんだろうけど「そもそも統計学はビッグデータを不要にする技術なはず」という書き方はちょっと変な気が（バイト的にはビッグだけど、サンプルサイズ的には足りない、みたいなことはあり得る）