Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog こんにちは、地域サービス事業部の吉田一星です。 今回は、Hadoopについて、Yahoo! JAPANでの実際の使用例を交えながら書きたいと思います。Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。 複数のマシンへの分散処理は、プロセス間通信や、障害時への対応などを考えなければならず、プログラマにとって敷居が高いものですが、 Hadoopはそういった面倒くさい分散処理を一手に引き受けてくれます。 1台では処理にかなり時間がかかるような大量のデータも、複数マシンに分散させることで、驚くべきスピードで処理を行うことができます。 例えば、今まで1台でやっていた、あるログ集計処理

[prototechno]

こんなに効果あるの!すごい…

[longroof]

Hadoopで、かんたん分散処理 (Yahoo! JAPAN Tech Blog)

[toru-kanimiso]

issayさん

[kotaro-ono]

MapReduceのわかりやすい例

[s-tomo]

後でもう1台組む.......いや6コアあるから試しに1台でやってみるか

[yamadar]

わかりやすっ！

[hirsato]

#hadoophn

[shiumachi]

Hadoopの簡単な使い方説明。図入りでわかりやすい。

[matsuyuta]

簡単な例だけど、わかりやすい。

[matekiki]

入門01

[ikeike443]

@techblogyahoo

[kahki]

Hadhoop

[japanrock]

"2〜3台からでも、効果を実感できると思います"

[udzura]

一番腑に落ちる説明……かなあ？

[msh514]

Hadoop

[dyamashiro]

　例文ｗ

[inurota]

以前のWeb+DBのid:naoya（たしか）記事もわかりやすかったが、これもなかなかわかりやすい。

[hiroki23]

分かりやすい

[silver_arrow]

Yahoo! Japanの例。

[takuno]

Hadoopとは、大量のデータを手軽に複数のマシンに分散して処理できるオープンソースのプラットフォームです。

[masterq]

MapReduceをオープンソースで実装。

[oooooooo]

何時間かかかるようなデータ処理を日常的に行っている方は、是非Hadoopの導入を検討してみてください。まずは、2～3台からでも、効果を実感できると思います。

[seiunsky]

hadoopの解説。ありがたや

[Wacky]

Hadoopを説明する上で、避けては通れないMapReduceについて説明します。

[drivejpn]

よくわからんが、後で暇なときに読もう

[KEINOS]

YahooによるHadoopの簡単な概要説明。概念がわかりやすい。しかし、Hadoopへのリンクなどがないなど、ページランクを意識しすぎているのか、若干配慮に欠けると思った。

[studio-m]

「地域サービス事業部では、Hadoopをログ解析、クローラやデータ解析などに使っていますが、日々のちょっとした業務でも活躍しています。例えば、大量のデータの中から、ランダムに10000件抽出したいなんてこと」

[rhosoi]

ふーむ

[georgew]

MapReduceの解説あり。初歩の初歩なんだろうが非常に明快。

[raimon49]

MapReduceの概念が分かり易い