[B! mapreduce] taketyanのブックマーク

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演で明らかにされました。 GoogleのシニアバイスプレジデントUrs Hölzle氏は、「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」と、Cloud Dataflowの特長を説明します。 Google I/Oの

taketyan 2014/06/27

これ MapReduce が抽象かされているというだけで、バックグラウンドでは MapReduce も動いてるんじゃないのかな? でもおもしろそう。

リンク

Happy Elements Labs: fluentdとMongoDBでユーザー行動を見える化

はじめにエンジニアの@ryooo321です。よろしくお願いします。今回は弊社で運用中の全アプリで利用している行動分析プラットフォームについてご紹介したいと思います。 2012年の6月に作ってから、約9ヶ月ほど運用しています。特徴・手がかからないデータストア・さまざまな問い合わせ対応で利用できる柔軟なクエリ・機敏なMap/Reduceによる集計・集計結果をCSVやグラフで可視化目的・ユーザーの問い合わせに効率的に対応し、アプリの企画・開発に集中するため・ユーザーの行動を抽象化・可視化することでPDCAの質を向上させるため行動ログのフロー 1. ユーザーからRuby on Rails製のソーシャルゲームにリクエスト 2. Railsからローカルのfluentdにログ出力(fluent-logger-ruby) 3. ローカルのfluentd

taketyan 2013/03/20

MongoDB の MapReduce で key をハッシュにできるの知らなかった。パフォーマンス的に問題なければ便利そう。

リンク

FlareとPHPでMapReduceしてみた GREE 梶原大輔さん tllt#1

http://techlife.cookpad.com/2009/10/24/techlife_introduction/ 録音環境の不備のため、全体的にノイズが入ってしまっています。ヘッドホンご使用の方はご注意ください。次回以降改善する予定です。

taketyan 2012/03/04

コードもっとちゃんと見たい

リンク

開発メモ: MapReduce on Kyoto Cabinet

Googleで実用化されHadoopで流行しているところの分散処理フレームワークMapReduceをKyoto Cabinetにおいても実現してみた。その解説。ローカルなMapReduce MapReduceは多数のマシンが連携して分散処理を行うためのフレームワークなので、プロセス組み込みDBMであって分散など全く関係ない世界に生きているKCでMapReduceを実行して意味があるのだろうか。答えは、「あんまりない」である。それにもかかわらず実装したのは、何となく話題性がありそうだからってのが最大の理由なのだが、もうひとつ理由がある。スクリプト言語で集計処理をやろうとすると、めっちゃメモリ食うしCPUパワーを使うわりに遅いからである。1000万件のソートってだけでスクリプト言語だと結構辛いからね。そこで、MapReduceフレームワークをC++で実装してmapとreduceだけをスクリ