#appengine MapReduceで毎秒2000件×8日間＝15億件を処理！ - スティルハウスの書庫の書庫

まだMapper APIのみの提供でReducer APIがないappengine-mapreduceライブラリについては、10万件のデータを対象としたテストでは1000件／秒程度で処理できたよというレビューをお届けしました。しかしApp Engineの中の人であるBrettさんは15億件のデータを対象としてmapper APIを試したところ、毎秒2000件以上のスループットを達成したそうです。以下におもな点を要約します： Brett Slatkin - One Big Fluke - Biggest Map() of my own. I recently ran the biggest Map() job of my life on my own data using the new App Engine Mapper framework: 1.5 Billion rows. The d

[mkoji530]

iphone

[takets]

現在のMapReduceだと、秒間2000件ほど処理できる模様。具体的なデータの形式はさておいて。