Hadoopは基幹業務をどう変えるのか─ソフトバンクモバイルにおけるオープンソース活用 | gihyo.jp
Hadoopはバッチ処理の課題への解決策となり得るか 企業のあらゆる領域にITが浸透し、それに伴って会計や在庫管理、あるいは販売管理などシステムから出力されるデータ量も拡大し続けています。このデータ量の増大によって、多くの企業において新たな課題となりつつあるのがバッチ処理の遅延です。 たとえば、毎日の売上を集計するために、販売管理システムからデータを吸い上げてバッチ処理を行うといった場合、サーバリソースに余裕がある夜間にバッチを走らせ、翌朝担当者が出社する頃には集計データが出力されているという形が一般的でしょう。しかし、ITが事業のさまざまな領域で活用されるようになったことから、バッチ処理すべきデータ量は増大し続けています。これにより、バッチ処理が時間内に終わらない、「突き抜け」と呼ばれる事態に頭を悩ませる企業が増えているのです。 突き抜けが発生すると、さまざまな領域に大きな影響が及ぶ恐
Hadoop World NYC 参加記 - moratorium
Hadoop World NYC 参加記 2009-10-07 (Wed) 10:03 Hadoop と言う訳でHadoop World NYC, 2009の参加記を書きます。 1日目はSystem Administrator用のトレーニングコースを受け、2日目がカンファレンス本番でした。トレーニングコースはDeveloper向け(3日間)とManager向けのビジネス寄りのコースが有り、合計で100人ぐらいは参加していたと思います。カンファレンスの本番自体は400～500人の参加でした。 まずSystem Adminコースですが、大体以下のような内容でした。 MapReduceの基本概念 ハードウェア/ネットワーク機器の選定ポイント OSやJavaなど、ソフトウェアでの注意点 Hadoop(Cloudera Distribution)のインストール方法 パラメーター/パフォーマンスチュー
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
アマゾン、「Hadoop」を利用した「Amazon Elastic MapReduce」のベータサービスを開始
Amazonの子会社Amazon Web Services（AWS）は米国時間4月2日、オープンソースのソフトウェアフレームワーク「Hadoop」を利用して大量のデータ解析を行う、新たなクラウドコンピューティングのベータサービスを開始した。 「Amazon Elastic MapReduce」と呼ばれるこのサービスは、集中的なデータ処理を必要とする企業、研究者、アナリストを対象に開発された（発表資料）。HadoopはYahooなどの企業も採用しているが、Clouderaなどの新興企業はHadoopを企業データセンターとして利用するためのサービスを提供している。 Amazon Elastic MapReduceは、同社の「Elastic Compute Cloud」（EC2）および「Simple Storage Service」（S3）上でHadoopを稼働させる。顧客はAmazon Ela
Kansai.pm での発表資料 (Hadoop Streaming で MapReduce) - naoyaのはてなダイアリー
Kansai.pm に参加しました。とても楽しかったです。自分も "Hadoop Streaming で MapReduce" という題目で発表しました。取り急ぎ、資料を以下に公開します。 http://bloghackers.net/~naoya/ppt/080530kansaipm.ppt MapReduce は Google のバックエンドで動いている分散並列バッチ処理システムです。GFS は Google の分散ファイルシステムです。Google ウェアのクローンとしてオープンソースで開発されているのが Hadoop。Hadoop は Yahoo! Inc や Facebook, Amazon.com などでも利用されているとのこと。Hadoop は Java ですが、Hadoop Streaming を使うと Java 以外でも MapReduce できます。 以下のエントリも合
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Hadoopの解析資料
