Hadoop and S3: 6 Tips for Top Performance | Mortar Blog | Data Science at Scale
Netflix kicked off the first session at this summer’s Hadoop Summit, telling the crowd about the Hadoop stack that powers its world-renowned data science practice. The punchline: they run everything on the Amazon Web Services cloud—Amazon S3, Elastic MapReduce (EMR), and their platform-as-a-service, Genie. Putting S3 at the base of your Hadoop strategy, as Netflix and Mortar have, catapults you pa
NTTデータがサンフランシスコで語った「Sparkを使う理由」
米国サンフランシスコで2014年6月30日から7月2日まで開催されたSpark Summit 2014では、筆者の一人であるNTTデータの土橋昌が、エンタープライズ環境で「Hadoop」を扱ってきたNTTデータの立場から見た「Spark」の評価について講演した。第2回となる今回はこの内容を元に、200台ほどの実サーバーを用いて実施したSparkの検証結果などについて解説しよう。 NTTデータ 基盤システム事業本部OSSプロフェッショナルサービスに所属する土橋が登壇したセッションのタイトルは「Spark on large Hadoop cluster and evaluation from the view point of enterprise Hadoop and developer」というものだ（写真1）。NTTデータは6年前からHadoopに関連するシステム構築ビジネスを手がけており
Hadoop 2.0がビッグデータへのアクセスを改善 | readwrite.jp
期待されていたよりも少し長くかかったが、Apacheソフトウェア財団は先日、Apache Hadoop 2.0の一般公開を発表した。これはビッグデータの管理におけるHadoopの役割を、大きく前進させるだろう。 Apache Hadoop 2.2.0(一般に利用可能な初の2.xシリーズ)の最も大きな変更点は、MapReduceフレームワークを、MapReduce 2.0として知られるApache YARNへとアップデートしたことだ。MapReduceはHadoopの大きな機能の１つで、有用な情報を取得するためにHadoop分散ファイルシステム(HDFS)に送られる検索ジョブを準備するバッチプロセッサである。MapReduceの旧バージョンでは、JavaベースのMapReduceツールの制約上、バッチの中で一度にひとつずつしかジョブを実行することができなかった。 利用可能な最新版のMapRe
Hadoop AvatarNode High Availability
Our Use-Case The Hadoop Distributed File System's (HDFS) NameNode is a single point of falure. This has been a major stumbling block in using HDFS for a 24x7 type of deployment. It has been a topic of discussion among a wide circle of engineers. I am part of a team that is operating a cluster of 1200 nodes and a total size of 12 PB. This cluster is currently running hadoop 0.20. The NameNode is co
Hadoop、hBaseで構築する大規模分散データ処理システム：CodeZine
はじめに この連載では、大規模分散計算フレームワーク「Hadoop」と、その上につくられた大規模分散データベース「hBase」の仕組みと簡単なサンプルアプリケーションを紹介します。HadoopとhBaseは、Googleの基盤ソフトウェアのオープンソースクローンです。機能やコンセプトについては、Googleが発表している学術論文に依っています。 これらの学術論文によると、Googleでは大規模分散ファイルシステム「Google File System」、大規模分散計算フレームワーク「MapReduce」、大規模分散データベース「BigTable」、分散ロックサービス「Chubby」という4つのインフラソフトウェアが使われています。 図1にGoogleの基盤技術間の依存関係、そしてそれに対応するOSSの対応関係を示しました。まずは対応するGoogleの基盤技術それぞれの機能や特徴をざっくりと
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
40分でわかるHadoop徹底入門 （Cloudera World Tokyo 2014 講演資料）
Apache Spark の紹介（前半：Sparkのキホン）
Vector Database for Scalable Generative AI | DataStax
TechCrunch