「Hadoopの時代は終わった」の意味を正しく理解する - 科学と非科学の迷宮
Hadoopの時代は終わった、という言説をたまに見かけるようになりました。 もちろん終わってなどいません。しかし、Hadoopとその取り巻く環境が変化したのは事実です。 本記事では、この変化が何なのかを明らかにし、その上で、なぜHadoopの時代は終わったという主張が実態を正しく表していないのかを説明していきます。 DISCLAIMER 私はHadoopを中心としたデータ基盤を取り扱うベンダー、Clouderaの社員です。 中立的に書くよう努めますが、所属組織によって発生するバイアスの完全な排除を保証することはできません。 以上をご了承の上、読み進めてください。 要約 データ基盤は、Hadoopの登場により非常に安価となり、今まででは不可能だった大量のデータを取り扱えるようになりました。 Hadoopは、NoSQLブームの中、処理エンジンであるMapReduceとストレージであるHDFSが
Apache Tez – Welcome to Apache TEZ®
Getting Started Overview Talks and Meetup Recordings Project License Documentation Install Guide Local Mode Tez UI Tez Shuffle Handler User Guides Community Mailing Lists Issue Tracking Project Team Project By-Laws User Meetup Group Tez Wiki Download Apache TEZ® Releases 0.4.1-incubating 0.5.4 0.6.2 0.7.1 0.8.5 0.9.2 0.10.2 All Releases Contribute JIRA Git (Read/Write) Git (Read-only) How to Contr
Map-Reduce With Ruby Using Hadoop - Big Fast Blog
Here I demonstrate, with repeatable steps, how to fire-up a Hadoop cluster on Amazon EC2, load data onto the HDFS (Hadoop Distributed File-System), write map-reduce scripts in Ruby and use them to run a map-reduce job on your Hadoop cluster. You will not need to ssh into the cluster, as all tasks are run from your local machine. Below I am using my MacBook Pro as my local machine, but the steps I
Mac上で手軽にMapReduceする環境を構築するメモ - nozaq's diary
Macのローカル上で手軽にMapReduceジョブ開発をしたくなったので色々やってみた. Cloudera社がHadoopが動作するLinuxのVMイメージを提供しているので, Macの環境を汚さずにHadoop環境がローカルに構築できます. CDH3のVMイメージをダウンロード. 僕はVMWare Fusion用をダウンロードしましたが、 VirtualBox用イメージもあるのでフリーで環境構築できるはず. CDH3用のHadoop Eclipse Pluginをダウンロード. Hadoop Eclipse PluginはHadoopをソースからビルドすると生成されるんですが（参考）,CDH3にバンドルされているHadoopとの接続に問題があるらしいので代わりにこちらをダウンロード. Hadoop Eclipse Pluginをインストール. eclipseホームディレクトリ以下のplu
NEC、ビッグデータ分析を高速化する分散処理技術を開発 (2013年10月8日)：プレスリリース | NEC
NECは、ビッグデータの分析を高速化する分散処理技術を開発しました。本技術により、これまで長時間かかっていたレコメンド（注1）・価格予測・需要予測などを行うビッグデータの機械学習（注2）処理をHadoop（注3）で実行する際、従来の10倍以上高速化でき、分析結果の迅速な活用に貢献します。 現在、ビッグデータの分析は、Hadoopを主とした分散処理基盤を用いることが一般的です。しかしHadoopでは、データから規則性やパターンなどを抽出する機械学習等の複雑な処理を高速に実行することは困難でした。 データ分析に時間がかかると、企業が分析結果を迅速に利用できないという課題が生じます。例えば、多量のデータを用いて、レコメンド・価格予測・需要予測など高度な分析を行う場合、処理結果を基に様々な検討を行い、分析軸の変更や処理を何度も繰り返す必要があり、データ量によっては、最終的な分析結果を得るために1週
GoogleのMapReduceアルゴリズムをJavaで理解する
GoogleのMapReduceアルゴリズムをJavaで理解する：いま再注目の分散処理技術（前編）（1/2 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） いま注目の大規模分散処理アルゴリズム 最近、大規模分散処理が注目を浴びています。特に、「MapReduce」というアルゴリズムについて目にすることが多くなりました。Googleの膨大なサーバ処理で使われているということで、ここ数年の分散処理技術の中では特に注目を浴びているようです（参考「見えるグーグル、見えないグーグル」）。MapReduceアルゴリズムを使う利点とは、いったい何なのでしょうか。なぜ、いま注目を浴びているのでしょうか。 その詳細は「MapReduce : Simplified Data Proc
MapReduceできる10個のアルゴリズム - データサイエンティスト上がりのDX参謀・起業家
HadoopとMahoutにより、ビッグデータでも機械学習を行うことができます。Mahoutで実装されている手法は、全て分散処理できるアルゴリズムということになります。Mahoutで実装されているアルゴリズムは、ここに列挙されています。論文としても、2006年に「Map-Reduce for Machine Learning on Multicore」としていくつかのアルゴリズムが紹介されています。 そこで今回は、（何番煎じか分かりませんが自分の理解のためにも）この論文で紹介されているアルゴリズムと、どうやって分散処理するのかを簡単にメモしておきたいと思います。計算するべき統計量が、summation form（足し算で表現できる形）になっているかどうかが、重要なポイントです。なってない場合は、”うまく”MapReduceの形にバラす必要があります。 ※例によって、間違いがあった場合は随時
「Jaql」を使ってMapReduceをより簡単に
Jaql（a query language desired for JSON：JSON用に位置づけられたクエリ言語）は、JSON型式のデータを処理するためのクエリ言語で、Apache HadoopのMapReduceを処理するための実装が存在します。日本語では「じゃっくる」と発音します。ジャッカルに似ているため、一部のサイトにはジャッカルの写真が掲載されていました。 もともとはIBMのアルマデン研究所で研究・開発され、オープンソースへ提案されました。本原稿執筆時点では、Apache Incubatorプロジェクトになっており、Google Codeのサイトで開発が進められています。 IBMアルマデン研究所のサイト Apache Hadoop用実装のダウンロードサイト 本記事執筆時点では、つい先頃リリースされた、Jaql 0.5.1をベースに解説しています。 1. JSONの基礎 JSON（
大量データを対象とした分散処理基盤 バッチ処理の高速化などに用途広がる | IT Leaders
Hadoop 早分かり＆導入支援サービス 企業が取り扱うデータは加速度的に増えている。これらの中に潜む有益な情報を競争力強化に役立てたいところだが、大量データを処理するには相応の性能を備えたシステムが不可欠。IT投資が限られるため、一歩を踏み出せないとする企業は少なくない。そこで注目を集め始めたのが、安価なサーバー群で分散処理する「Hadoop（ハドゥープ）」だ。 店舗から収集するPOSデータ、Webサイト利用者の行動/購買履歴、システムの操作ログ…。企業は今、多種多様なデータを大量に蓄積し、その量は増加の一途を辿っている。かつてデータ量の膨大さを形容した「テラバイト級」にもはや新鮮味はなく、今や「ペタ」単位で語られる時代だ。 集めたデータは商機拡大やリスクヘッジの貴重な材料であり、効果的な利活用が欠かせない。だが大量のデータを分析するには、相応の能力を備えたシステムが必要となる。投資した
MapReduceとパラレルRDBでベンチマーク対決、勝者はなんとRDB！
大量のデータを処理する手法として登場したMapReduce。クラウドに対応した分散処理の定番として話題に上ることが増えてきました。 MapReduceは、大量のデータを分割し、分割したデータを分散したノードに投げてノードごとに処理を実行、結果を集約して最終的な答えを求める、といった手法です。 しかしMapReduceが登場する以前から商用レベルで使われていた分散処理手法があります。データを分散したデータベースに格納し処理を行うパラレル・リレーショナルデータベース（パラレルRDB）がその1つです。 パラレルRDBは、データを複数のデータベースに分散して配置、データベースごとに処理を行い、結果を求める手法です。中央に共有メモリを配置するなどの方法で分散したデータベース同士の連携を行うことが一般的です。 ではパラレル・リレーショナルデータベースはMapReduceより遅いのか？ 劣るのか？ 両者
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Map Reduce 〜入門編：仕組みの理解とアルゴリズムデザイン〜
TwitterがMapReduceストリーミングフレームワークSummingbirdをオープンソースに
What is Google's Dremel? How is it different from Mapreduce?
Google Code Archive - Long-term storage for Google Code Project Hosting.
Good night, Posterous
http://www.sandia.gov/~sjplimp/mapreduce.html
DBIS - Databases and Information Systems
RDFgrid - Map/Reduce-based Linked Data Processing with Hadoop
DBIS - Databases and Information Systems
Jimmy Lin » Data-Intensive Text Processing with MapReduce