Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演で明らかにされました。 GoogleのシニアバイスプレジデントUrs Hölzle氏は、「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」と、Cloud Dataflowの特長を説明します。 Google I/Oの

[y-kawaz]

ドッグフーディングしてるシステムは信頼できる。

[Hayato]

正直この美しい世界に萌える

[taketyan]

これ MapReduce が抽象かされているというだけで、バックグラウンドでは MapReduce も動いてるんじゃないのかな? でもおもしろそう。

[RabbitBit]

かつてTreasureDataという企業がありました。

[kawamurayuto]

❝大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014の基調講演

[fushiroyama]

おおお

[the48]

中の人楽しそうだな

[airj12]

Optimizeんとこの魔術感

[doublehorn93]

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」。Google I/O 2014

[dkinyu]

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

[cha-cha-ki]

サイヤ人感ある / Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Cloud Dataflow」を発表。「1年前からMapReduceは使っていない」 － Publickey

[decoy2004]

『プログラマが分析処理のプログラムを書き、Cloud Dataflowに送ると、最適化、展開、スケジューリング、モニタリングをCloud Dataflowが行ってくれる。』

[antirosh]

基幹システムはバッチ大変だからクラウドはちょっとねぇ(震え声

[ttakezawa]

][cloud]

[shodai]

うーん。細かいところが理解出来ない

[osamuoga]

Google、大規模データをリアルタイムに分析できるクラウドサービス「Google Dataflow」を発表。「1年前からMapReduceは使っていない」

[ATKINZ117]

後で発表内容見よう

[heki1224]

これすごいなぁ

[kana321]

エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる

[hs_hachi]

なぜ作ったかって？必要だからさ。かっけー

[mkusunok]

これは楽しそうだな→「エクサバイトのスケールまで扱え、パイプライン処理を記述しやすく最適化もしてくれる。それにバッチもリアルタイム分析も同じコードで記述できる」

[tamu222i]

“なぜこうしたものを作ったかといえば、それは我々自身がこのようなものを必要としていたからである。”ｶｺｲｲ

[inurota]

「なぜこうしたものを作ったかといえば、それは我々自身がこのようなものを必要としていたからである」基本すべてこのスタンスよね。

[TequilaBancho]

すばらしい！！！！さっそく解析に使わせていただきます。

[akuwano]

そりゃそうだけど先行ってんなぁ。

[shields-pikes]

ああ、今開発してるサービスのレコメンド解析エンジンのために、これを一緒に勉強しながら使いこなしてみたいエンジニアの方に協力して欲しいなー。興味のある方はご連絡を。

[rx7]

"Googleが1年前にMapReduceの利用をやめた理由"

[sionsou]

Google Cloud Dataflowすごいな。。使ってみないとまだ何とも言えないが、解析系を任せるのに良さそう

[tnh]

な、なんだってー

[quassia88]

2014年6月27日 大規模分散処理のフレームワークとしてGoogleが開発し、Hadoopに採用されて広く使われているMapReduce。しかしGoogleはもうMapReduceを使わず、より優れた処理系の「Google Cloud Dataflow」を使っていることが、Google I/O 2014