MapReduce::Liteで手軽に分散処理 - はこべにっき ♨

「Googleを支える技術 ?巨大システムの内側の世界 (WEB+DB PRESSプラスシリーズ)」を読み終えたので，id:naoyaさんの作ったMapReduce::LiteでMapReduceを試してみた．以下は，MapReduce::Liteを使ってみたメモなど．あくまでもメモなので，くわしくMapReduceの勉強をしたいひとは，id:naoyaさんの記事(MapReduce - naoyaのはてなダイアリー)がおすすめです． MapReduceは，MapとReduceの二つを組み合わせて実現できる処理を，分散処理化するGoogleの技術．すばらしい抽象化ですね． id:naoyaさんの作ったMpaReduce::Liteは，MapReduceの仕組みをPerl上で実現したモジュール．ただ，MapReduce::Liteでは，処理をマシンごとに割り当てて分散しているわけではなく，ス

[inouetakuya]

スレッドが走るMapReduce::Lite使用版のほうが3倍くらい速い．このとき，MapReduce::Lite使用版において，実質書いたコードはMapperとReducerだけで，MapReduce::Liteを使っていない版とコードの量はほとんど変わらない．なぜなら，分散

[takuya5455]

スレッドが走るMapReduce::Lite使用版のほうが3倍くらい速い．このとき，MapReduce::Lite使用版において，実質書いたコードはMapperとReducerだけで，MapReduce::Liteを使っていない版とコードの量はほとんど変わらない．なぜなら，分散

[rawwell]

MapReduce::Liteを使ってみたメモなど

[mainyaa]

あとで試す

[hiromark]

あとで