Chromium OS プロジェクト日本語トップページ - OSDNYet Another Chromium OS by Okajima, Jun. Tokyo, Japan. http://www.chromium.jp/ ABSOLUTELY NO WARRANTY. ABSOLUTELY NO WARRANTY. ABSOLUTELY NO WARRANTY.
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
Mozc (Google日本語入力のオープンソース版) on FreeBSD ビルドが落ちる - 中田真秀(なかたまほ)のブログ
Mozc <Google日本語入力のオープンソース版) が、リリースされたが、本当に喜ばしいことだが、当然FreeBSD版は存在しない。ということで、portsを作成中である... とりあえず、ビルドが通りません :-( Mozc 20100513版のFreeBSD ports(作成途上) につるしておきます。 現在こんな感じで落ちます(on FreeBSD amd64, 8.0RELREASE-p1)。 Running: gmake -j4 BUILDTYPE=Release build_tools out/Release/.deps/out/Release/obj.target/gen_suggestion_filter_main/prediction/gen_suggestion_filter_main.o.d:9: *** ターゲットパターンが `%' を含んでいません. 中止.
優良企業はなぜHadoopに走るのか
ちなみに、この分析のために必要とされるMapReduceのコードであるが、そのサイズはわずか20ステップだという。Yahoo!のプレゼンテーターである、エリック・バルデシュバイラー氏によると、たとえ経験の浅いエンジニアであっても、MapReduceによるプログラミングは可能であるとされる。 また、VISAのジョー・カニンガム氏からも、貴重なデータが提供されていたので以下に紹介する。同社では、1日に1億トランザクションが発生するため、2年間で700億強のトランザクションログが蓄積され、そのデータ量は36テラバイトに至るという。こうしたスケールのデータを、従来のRDBを用いて分析するには、約1カ月の時間が必要とされてきたが、Hadoopを用いることで13分に短縮されたという。 これまでは、Yahoo!にしろVISAにしろ、膨大なデータをRDBに押し込むほかに方法はなく、その分析に数十日を要する
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoop、hBaseで構築する大規模分散データ処理システム
LinuxBuildInstructions - mozc - How to build Mozc on Linux - Project Hosting on Google Code
