分散システム処理モデルに関する動向について（MapReduceからBorgまで）

詳細については後述しますが、MapReduceの処理モデルは、上記の通り各区分ごとにそれぞれ単純化（限定）されたモデルであったと言えます。 また、MapReduceの関数プログラミングおよびグラフ的な特徴も合わせて以下に整理してみます。 関数プログラミング的な特徴 MapおよびReduceフェーズは、それぞれ関数型プログラミングのMapおよびReduce処理をモデル化したものです。MapReduceは、参照透過性がある純粋な関数処理と言えます。参照透過性とは入力により出力が一意に決まる性質のことです。言い換えればMapReduceの処理は、大域などの処理に影響する外部の環境は持たず、内部的にも静的な一時変数などの状態も持たないことを意味します。 純粋な関数処理は複数の処理が同時に実行されても他の並列に動作している処理の状態には左右されないため、この参照透過性は並列化に向いている性質がありま

[kuenishi]

やっぱり書いておこう。僕の理解と全然違っていて、目的の異なるシステムがごっちゃにされてると思う

[tagomoris]

この記事に関して言いたいことはいくつかあるが、分散ストリーム処理を話題に取り上げるなら Apache Flink への言及がほしかった

[hayamiz]

わかりやすいという意見の人が多いけど、ううん..?

[kumagi]

列指向ファイルシステム…？この人は一体何を言ってるんだ…？ワードサラダかこれ？

[inductor]

この記事知らなかった。よも。

[naka-06_18]

よくまとまっていると思うけど、表の必然性がわからぬ。

[naga_sawa]

分散処理システムの処理モデルの移ろい

[yassan0627]

すごく良いまとめだった(´▽｀)

[kgrock]

分散システム処理モデルに関する動向について（MapReduceからBorgまで）

[y___u]

MapReduceをフレームワークレベルでさらにラッピングしていく方向で進化してると思うと、もうMapReduce理解しなくてもいいのではって思えてくる

[tmatsuu]

前半面白かったが、徐々に理解が追いつかなくなってきた。またあとで

[georgew]

MapReduceも既に陳腐化してるとはなかなか感慨深い...

[sugibuchi]

用途やレイヤーの異なる技術に無理に縦串を通そうとしている印象。あと分散処理であればPregelやHamaといったBSP系の動向も追っかけてもらえると最近興味があるので個人的には嬉しい。

[Nilfs]

そのうちまた復習したい

[T-norf]

分散システム。まだ、うちではニーズは無いなぁ。

[kimutansk]

「分散処理モデル」という非常に抽象的な言葉の中に用途が異なるものがいろいろ詰め込まれた感じですが・・・これって、何かしらの切り分けをするべきな気はしますね

[chezou]

TwitterはStorm捨てたのでは？

[tnao]

“[1]”

[ledsun]

むずい

[efcl]

分散システム処理モデルの歴史と動向

[sonots]

あとで

[ono_matope]

分散処理系は疎いので各技術の関係がとても勉強になった。

[nilab]

分散システム処理モデルに関する動向について（MapReduceからBorgまで） - Yahoo! JAPAN Tech Blog

[toruuetani]

こういうの助かる。概要だけでも把握しとかないと。

[sezemi]

BIGCHAに向けて勉強してる

[t-wada]

ここ 10 年くらいの分散システム処理モデルの変遷についてまとまっている、非常に力の入った文書

[brane-world]

“BCLの説明はあるもののアプリケーションの再構築方法についての詳細は残念ながらありません。 ただし、MapReduceは2008年頃から当時のBorgで動作しており、YARNと同様にアプリケーションがリソース要求しながら処理を進め

[iekusup]

ほー。

[InoHiro]

複雑感