MapReduceは今後どうなるのか？ - 急がば回れ、選ぶなら近道

2012年の現在、割と悩んでいるのでメモっておく。 年度末ぐらいに再調査の予定。・・なので暫定ですよ。 まず前提として、現行のHadoopの実行フレームワークであるMapReduceは、実行効率は決して良くはないです。この辺が割と辛い。 とはいえ、大規模並列処理を一般的に行うという観点での品質や取り回しを考えた場合、”結果として”非常にバランスがとれており、普及している。その上で、このMapReduceですが、今後の見通しについては、潮流は今のところ二つに割れているよう見える。ので、その辺のメモ。 ■YARN 一つの方向性は、現在のHadoop2.0系で実装されているMapReduce2.0、というか、MapReduceとは別の実行基盤を利用するという方向ですね。すなわちBSPや、MPIを利用する。要は、今までの並列処理の成果をそのまま利用しましょう、という流れに近い。 MapReduce

[sh19910711]

2012 / "流れを決めていくのは永続化層 / 特にHDFSの有り様については相当な議論と進展があると思います / もっとも大事な点は「そもそもどのような問題を解決するための道具立てなのか？」ということを再認識すること"

[yahoocojp2]

あとで

[dagjmpd]

MapReduceは今後どうなるのか？

[Jxck]

今が一番大事な時期って感じなのかな。

[yoshihiroueda]

MapReduce はもともと計算機資源が潤沢にあってそれを活用しようということだから。

[kuenishi]

個人的にはあのAPIなんとかならんのかと思ってしまうとてもわかりにくい

[hiroshi_revolution]

MapReduceは今後どうなるのか？ - 急がば回れ、選ぶなら近道

[kimutansk]

熱が冷めたという事なのかもしれませんね。立場的にこういう流れの中心にいるわけではないですが、今後どうなるかは見ておかないと。