Hadoopは汎用機の夢を見るか？ - 急がば回れ、選ぶなら近道
オープン系の歴史は、基本的に汎用機との戦いでした。個人的にも自分の戦いも、わりとまじめに汎用機との戦いでした。Linux? おもちゃですね。Java? 飲めるの？Object指向? 品質高いの? ・・・まぁこんな感じでしたね。確かにLinuxはもはや標準になりました。Javaでの開発は普通になりました。Object指向以外の開発はまぁ普通にないですね。・・・しかし、残念ながら基幹バッチは未だに汎用機です。汎用機は未だに現役であり、基幹処理の根っこは、いまだ汎用機で動いています。信頼性は突出しているし、パフォーマンスもバッチ処理に関しては依然として最強だと言えるでしょう。新人COBOLな人のバッチが、ハイパーなOracle使いのSQLバッチを軽く凌駕する事は、まだ普通にあります。・・・なぜか？ 多重度が違いすぎますね。 汎用機はハードウェアからOSレベルまですべて、多重度が上がる事を前提に処
Hadoopの現在 - 急がば回れ、選ぶなら近道
もともとHadoopは注目の仕組みであったけど ここに来てさらに大きな流れになろうとしてる。 各種のイベントや記事にしても大型のものが多く 一種のHype状態になってきている。 Hadoop Japan Conference 2011 Fall Hadoop Conference Japan 2011 Fall Tickets, Mon, Sep 26, 2011 at 10:00 AM | Eventbrite 登録人数で1000人を超えている。 Cloud Computing World Tokyo 2011 ＆ Next Generation Data Center2011 Apache Hadoop: A New Paradigm for Data Processing http://www.idg.co.jp/expo/ngdc/2011/index.html このイベントがあっ
Hadoopの本質は分散I/Oにあり～クラウド時代の非同期処理 - プログラマの思索
Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の記事がとても素晴らしいのでメモ。 【元ネタ】 第1回 分散処理を隠蔽し、大規模開発を可能に - Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌：ITpro 第3回 業務の境界や並列性を見極め処理を分割 - Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌：ITpro 基幹バッチ再構築のニーズは大きい、Hadoopの課題をAsakusaで解決する - インタビュー：ITpro Twitter / @akipii: Asakusaの本質は分散I/O。ディスクの入出力がバッチ処理のボトルネック。クラウド時代の非同期処理の設計技法は、ジョブフローからバッチ処理をDSLで自動生成することにあり。 CobolやPLSQLで書かれた古臭いバッチ処理は、全てHadoopで代用できないものか？ Cobolの生産性の
MapReduceのJava実装Apache Hadoopを使ってみた (1/3) - @IT
MapReduceのJava実装Apache Hadoopを使ってみた：いま再注目の分散処理技術（後編）（1/3 ページ） 最近注目を浴びている分散処理技術「MapReduce」の利点をサンプルからアルゴリズムレベルで理解し、昔からあるJava関連の分散処理技術を見直す特集企画（編集部） Apache Hadoopプロジェクトとは何か？ 本特集では、いま再注目の分散処理技術についていろいろと紹介してきました。前編の「GoogleのMapReduceアルゴリズムをJavaで理解する」では、分散処理技術で最近注目を浴びているものとして、グーグルのMapReduceアルゴリズムを紹介し、中編の「イロイロな分散処理技術とイマドキのWebサービス」では、MapReduceに至るまでのさまざまな分散処理技術やWebサービスについて紹介しました。 そのMapReduceアルゴリズムをJavaで実装したも
Hadoopのインストールとサンプルプログラムの実行
前回はGoogleの基盤技術とそれに対応するオープンソースソフトウェアとして、Hadoop & hBaseを紹介しました（図1 参照）。今回はHadoopを1台にインストールし、サンプルプログラムを動かします。次にHDFSとMapReduceのアーキテクチャを解説します。最後にサンプルプログラムのソースコードを解説します。 2. Hadoopの概要 Hadoopは主にYahoo! Inc.のDoug Cutting氏によって開発が進められているオープンソースソフトウェアで、GoogleFileSystemとMapReduceというGoogleの基盤技術のオープンソース実装です。Hadoopという名前は開発者の子供が持っている黄色い象のぬいぐるみの名前に由来しています。HadoopはHDFS（Hadoop Distributed File System）、Hadoop MapReduce F
ClouderaがHadoop用の操作ツール，初級者にも扱いやすく
Hadoop導入支援パッケージなどを手がける米Clouderaは米国時間2009年10月1日，オープンソース分散処理プラットフォーム「Hadoop」用のGUI（グラフィカル・ユーザー・インタフェース）「Cloudera Desktop」を公開した。Webサイトで無償でダウンロードできる。JavaScriptライブラリ「mootools」を使って開発されており，使用にはClouderaが配布している最新のテスト版Hadoopが必要だ。 Cloudera Desktopを利用すると，Webブラウザ上のGUIでHadoop用クライアントのインストールやアップグレード，ファイアウオールの設定などができる。操作が分かりやすくなることで，例えばデータ格納を目的にHadoopクラスタを使う場合などに，Hadoopに慣れていない人でも無理なくデータ管理業務をこなせるようになるという。 Clouderaは，
Cloudera Distribution for Hadoopのインストール方法 - moratorium
Cloudera Distribution for Hadoopのインストール方法 2009-11-03 (Tue) 1:08 Hadoop 昔色々と記事を書きましたが、１年半経って、もはや内容が古くなって来ました。 Hadoopのインストールは、最近はCloudera Distribution for Hadoopを使用するのが一般的なようなので、こちらでのインストール方法を紹介します。 まずはEC2で２インスタンス立ち上げます。一つがNameNode/JobTracker用、もう一つがDataNode/TaskTracker用です。仮に、ホスト名をmaster, slaveとしておきます。OSはCentOSが推奨されています。 次にCloudera Configuratorにアクセスし、使用するクラスタの構成などを入力します。それらの情報(例：ノードのコア数・メモリ容量・台数など)から
第8回 Hadoopの環境を作ってみよう! | gihyo.jp
hadoop1：masterサーバ…NameNode/JobTracker（NFSサーバ） hadoop2, hadoop3：slaveサーバ…DataNode/TaskTracker（NFSクライアント） NameNode, DataNodeはHDFSのための機能→masterサーバ JobTracker, TaskTrackerはMapReduceのための機能→slaveサーバ NFSはhadoopの設定やプログラムを共通で使用するために導入します（導入の手間を軽減するため）。 図1 システム構成図 それでは構築作業を進めていきます。 NFSディレクトリの作成 hadoop1に/usr/local/apach_projディレクトリを作成します。このディレクトリにはhadoopnのバイナリや設定ファイルが置かれ、hadoop2, hadoop3から共通に使用されることになります。NF
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮
業界トップ のエンタープライズ Hadoop 企業 Cloudera に入社しました http://www.cloudera.co.jp/ 今年の6月に、「平成２１年度 産学連携ソフトウェア工学実践事業報告書」というドキュメント群が経産省から公表されました。 そのうちの一つに、NTTデータに委託されたHadoopに関する実証実験の報告書がありましたので、今更ながら読んでみることにしました。 Hadoop界隈の人はもうみんなとっくに読んでるのかもしれませんけど。 http://www.meti.go.jp/policy/mono_info_service/joho/downloadfiles/2010software_research/clou_dist_software.pdf 「高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）」という
)
Running Hadoop On Ubuntu Linux (Single-Node Cluster) - Michael G. Noll
What we want to do In this short tutorial, I will describe the required steps for setting up a single-node Hadoop cluster using the Hadoop Distributed File System (HDFS) on Ubuntu Linux. Hadoop is a framework written in Java for running applications on large clusters of commodity hardware and incorporates features similar to those of the Google File System and of MapReduce. HDFS is a highly fault
Hadoop Hacks Night詳細レポート［前編］ | gihyo.jp
多くの有名企業が利用し始めたことから注目を浴びているオープンソースの大規模分散データ処理システム「Hadoop」。 2010年3月8日（月）、六本木ミッドタウンのYahoo Japanにて、Yahoo! ,Inc. Hadoopチーム アーキテクトのOwen O’Malley氏を迎えて「gihyo.jp×Yahoo! JAPAN presents "Open TechTalk" Hadoop Hacks Night」（（株）技術評論社・ヤフー（株）主催）が開催されました。 会場の模様 第1部 Owen O'Malley氏のプレゼンテーション 5,000億人ものユーザのデータの解析に威力を発揮 最初のセッションは、Owen氏によるプレゼンテーション。冒頭で、氏がまず述べたのが、「Hadoopはオープンソースであり、開発者が協力して力をあわせてプロジェクトを進めていける」とい
Emerge Technology: [翻訳]Hadoopで動くPythonのMapReduceプログラムを書く
HadoopフレームワークはJavaで書かれていますが、Hadoop上で動くプログラムはJavaで記述する必要はありません。PythonやC++(バージョン0.14.1以降)のような他の言語で開発することができます。しかし、Hadoopのホームページのドキュメントや最も重要なPythonのサンプルコードを読むと、PythonコードをJythonを使ってJavaのjarファイルに変換しないといけないように考えてしまいます。明らかに、この方法はきわめて不便で、もし、Jythonが提供していないPythonの機能を使っている場合はともて問題です。Jythonのアプローチのもう一つの問題は、Hadoopと連携させてPythonプログラムを書くオーバーヘットです。<HADOOP_INSTALL>/src/examples/python/WordCount.pyを見れば、言っていることがわかると思いま
![Emerge Technology: [翻訳]Hadoopで動くPythonのMapReduceプログラムを書く](https://cdn-ak-scissors.b.st-hatena.com/image/square/aabef9a324563f80f39c7397fcffe7b500347092/height=288;version=1;width=512/http%3A%2F%2F3.bp.blogspot.com%2F_ssj0PqDmv7c%2FSgPANHCJ4MI%2FAAAAAAAAAtQ%2FfnI7sPPPlHo%2Fw1200-h630-p-k-no-nu%2FHadoop-web-interface-screenshot.png)
Silicon Soul » HadoopDBのアーキテクチャ
■HadoopDBのアーキテクチャについて HadoopDB: An Architectural Hybrid of MapReduce and DBMS Technologies for Analytical Workloads. Azza Abouzeid, Kamil Bajda-Pawlikowski, Daniel J. Abadi, Avi Silberschatz, Alex Rasin. In Proceedings of VLDB, 2009. より、 HadoopDBのアーキテクチャに関する章から、Hadoopに追加された４つのコンポーネントについて順に読んできます。 ▼Database Connector Database Connectorは、クラスタの各ノードにある個別のデータベースとTaskTrackerの間のインタフェースで、 HadoopのInputFo
RubyでHadoopをラップ、分散処理ツールキットが登場 － ＠IT
2009/05/12 米新聞社大手のニューヨーク・タイムズは5月11日、Rubyによる大規模分散処理のツールキット「Map/Reduce Toolkit」（MRToolkit）をGPLv3の下にオープンソースで公開したと発表した。MRToolkitは、すでに稼働しているクラスタ上のHadoopと合わせて使うことでRubyで容易にMap/Reduce処理を記述することができる一種のラッパー。処理自体はHadoopが行う。すでにHadoopを使っているユーザーであれば、中小規模のプロジェクトに対して、すぐにMRToolkitを適用可能としている。 デフォルトで有用なMap、Reduceの処理モジュールが含まれていて、数行のRubyスクリプトを書くだけで、例えば膨大なApacheのログからIPアドレス別の閲覧履歴をまとめるといった処理が可能という。独自にMapやReduceの処理を定義することも
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
はじめてのまっぷりでゅ〜す - あらびき日記
IBM Developer
Hadoop、hBaseで構築する大規模分散データ処理システム
TechCrunch
オープンソース分散システム「Hadoop」解析資料 - 株式会社プリファードインフラストラクチャー
TechCrunch