Hadoop Summit 2012 | Optimizing MapReduce Job Performance
Optimizing MapReduce job performance is often seen as something of a black art. In order to maximize performance, developers need to understand the inner workings of the MapReduce execution framework and how they are affected by various configuration parameters and MR design patterns. The talk will illustrate the underlying mechanics of job and task execution, including the map side sort/spill, th
EMCジャパンとノーチラス・テクノロジーズ 「Enterprise Hadoop」開発運用ソリューションで協業 | NAUTILUS
「EMC Greenplum HD EE」と「Asakusa Framework」の組み合わせによりミッション・クリティカルな基幹系バッチ処理を高速化 EMCジャパン株式会社（略称：EMCジャパン、本社：東京都渋谷区、代表取締役社長：山野 修、URL: http://japan.emc.com/ ）と、株式会社ノーチラス・テクノロジーズ（略称：ノーチラス・テクノロジーズ、本社：福岡県福岡市、代表取締社長：最首 英裕、URL：http://www.nautilus-technologies.com/）は、ミッション・クリティカルなエンタープライズ領域での分散処理技術Hadoop*1活用を促進するため、「Enterprise Hadoop（エンタープライズ・ハドゥープ）」開発運用ソリューション＊2の提供における協業を発表しました。 このたびの協業で、両社は、EMCの「Greenplum HD
Top 10 Companies Looking for People with Hadoop Skills | ServicesANGLE
Apache Hadoop has risen to the seven spot on the Indeed top 10 list of job skills that are in peak demand. It’s a jump that shows why big data is expected to be one of the most discussed topics in the year ahead. Hadoop Job Trends Hadoop jobs The job market for people with Hadoop skills is revealing. Amazon is the top job poster with 110 listings on Indeed. A distant second is eBay with 53 jobs l
Hadoop Troubleshooting 101 - Japanese Version
MapReduce/Spark/Tezのフェアな性能比較に向けて (Cloudera World Tokyo 2014 LT講演）
Hadoopカンファレンスが開催、本格普及を見据えた支援サービスや先進事例が充実
オープンソースの分散バッチ処理ソフト「Apace Hadoop（以下、Hadoop）」の国内コミュニティが主催するイベント「Hadoop Conference Japan 2011 Fall」が2011年9月26日に都内で開催された（写真1）。第3回となる今回は、リクルートが会場提供と運営支援をすることにより、コミュニティ主催のイベントとしては異例の1000人規模の会場を確保（写真2）、月曜日にもかかわらず多くの参加者が午前10時の開始前から来場した。 米国のHadoopベンダー3社が基調講演 午前中に開催された基調講演では、Hadoopを使ったシステム構築を支援する、ベンダー3社が相次いで登壇。Hadoopの企業情報システムでの利用を前提に、「いかに簡単に構築運用できるか」を主なテーマに据えて、自社製品やサービスの最新動向を語った。 最初に登壇したのは、米ClouderaのTodd Li
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
情報爆発にいかに対応するか
・著=ASCII.technologies編集部 ・発行=アスキー・メディアワークス ・2011年4月 ・ISBN-10：4048705741 ・ISBN-13：978-4048705745 ・2300円＋税 ※注文ページへ 近年、日々大量に生成・蓄積される情報の管理・処理が企業の一大課題となっている。めまぐるしく変わる市場環境、顧客ニーズに追従するためには、自社の業務データ、顧客データなどを迅速に処理しなければならない。特に“情報爆発”とも形容されるほど情報量が増大している今、迅速な処理を実現する上ではITシステム側にも新しい仕組みが求められている。 そうした中、注目を集めているのがHadoopとNoSQLだ。特に昨今は、Webサービス企業を中心に採用例が急増していることも手伝って、Hadoopが話題に上ることが増えたのではないだろうか。 周知の通り、Hadoopは大規模なデータを複数の
Eventbrite
Your version of Internet Explorer is not longer supported. Please upgrade your browser.
その分析、Hadoopなら速く安くできます
ビジネスデータを分析するビジネスインテリジェンス（BI）分野の新たなプラットフォームとして注目されているHadoop。Hadoopでは、どのようなデータ分析が可能なのでしょうか？ 現在、Hadoopビジネスの牽引役であるClouderaのJeff Hammerbracher氏が、Hadoopでデータ分析が可能なビジネス上の課題を示した「10 Common Hadoop-able problems」（Hadoop化可能な10の一般的課題）と題したプレゼンテーションを公開しています。 Hadoopにとって得意な処理とは、複雑で複数のデータソースからなる大量のデータの分析であり、それをバッチ処理の並列実行によって実現することです。 従来は、データがあまりに複雑だったり膨大だっために、計算時間やコストなどの理由で実現が難しかった処理でも、Hadoopによる低コスト化、計算時間の短縮、高い柔軟性など
アイネット、Hadoopで構築した低価格ストレージサービス：ITpro
アイネットの「Cloudstor」は、オープンソースのHadoop分散ファイルシステム（HDFS）を用いて構築した低価格オンラインストレージサービスである。同社データセンターで運営するプライベートクラウド「VAiOS」の一環として提供する。 インターネットで一般的なオンラインストレージに比べ、企業向けにより高いセキュリティを確保した。Hadoopクラスタ上のノードにデータを分散配置するが、保管位置を確認可能であり、ISMS（情報セキュリティマネジメントシステム）やプライバシーマーク取得に対応できる。 アクセス回線はマルチキャリアに対応しており、社内LAN/WANのほか、公衆無線LAN、WiMAX、3G/LTEなどのモバイル網を介してアクセスできる。パソコンやiPhone、iPad、Android端末などに専用アプリケーションをインストールして利用する。ストレージへのアクセスには、REST（
HadoopとMongoDBを活用したソーシャルアプリのログ解析
The Ring programming language version 1.7 book - Part 47 of 196Mahmoud Samir Fayed
日経コンピュータセミナー 「Hadoop」が変える企業情報システムの実像
今、オープンソースソフトウエア（OSS）の分散バッチ処理ソフト「Hadoop」に、ユーザー企業の熱い視線が集まっています。 Hadoopは、一般的なPCサーバーを多数連携して、数十テラ〜数ペタバイトのデータを高速かつ安価に解析できるというミドルウエアです。グーグルがWeb検索エンジンのために独自開発した技術が基になっています。このHadoopを、基幹系システムのバッチ処理や、データウエアハウス（DWH）の構築に使おうとする動きが、日本でも盛んになりました。 Hadoopによって、企業情報システムがどう変わり、ユーザー企業は何ができるようになるのでしょうか。米国や日本におけるHadoopの現状に詳しい専門家や、既にHadoopを利用する日本のユーザーの生の声をお届けし、Hadoopの与えるビジネスインパクトを考察します。 データの「爆発」に悩む企業の、情報システム部門や、経営企画部門の方のご
Quick Start
The purpose of this document is to help you get a single-node Hadoop installation up and running very quickly so that you can get a flavour of the Hadoop Distributed File System (see HDFS Architecture) and the Map/Reduce framework; that is, perform simple operations on HDFS and run example jobs. Supported Platforms GNU/Linux is supported as a development and production platform. Hadoop has been de
Cloud computing competition by Hapyrus
論文紹介：Deep Occlusion-Aware Instance Segmentation With Overlapping BiLayersToru Tamaki
Welcome to Apache ZooKeeper!
Welcome to Apache ZooKeeper™ Apache ZooKeeper is an effort to develop and maintain an open-source server which enables highly reliable distributed coordination. What is ZooKeeper? ZooKeeper is a centralized service for maintaining configuration information, naming, providing distributed synchronization, and providing group services. All of these kinds of services are used in some form or another b
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
エントリーフォーム … 技術評論社
agilecatcloud.com
AWSを使ったトラッキングログ収集
資料を公開いたしました（クックパッド×PFI共同勉強会） - クックパッド開発者ブログ
http://atnd.org/events/5229
