‘My Hadoop is bigger than yours’ – Old GigaOm
Money has turned the Hadoop community, once united under the Apache banner and the cuddly stuffed-toy-elephant logo, into something resembling a frat house: Everyone’s under the same roof, but there’s plenty of machismo to go around. I’m not sure it makes for good business, but it sure does make for good theater. I was alerted to the latest round of Hadoop one-upmanship last week (hat tip to Alex
Debugging "Wrong FS expected: file:///" exception from HDFS - OpenSource Connections
I just spent some time putting together some basic Java code to read some data from HDFS. Pretty basic stuff. No map reduce involved. Pretty boilerplate code like the stuff from this popular tutorial on the topic. No matter what, I kept hitting my head on this error: Exception in thread “main” java.lang.IllegalArgumentException: Wrong FS: hdfs://localhost:9000/user/hadoop/DOUG_SVD/out.txt, expecte
Genie is out of the bottle!
by Sriram Krishnan In a prior tech blog, we had discussed the architecture of our petabyte-scale data warehouse in the cloud. Salient features of our architecture include the use of Amazon’s Simple Storage Service (S3) as our “source of truth”, leveraging the elasticity of the cloud to run multiple dynamically resizable Hadoop clusters to support various workloads, and our horizontally scalable Ha
Cloudera Blog
Enterprises see embracing AI as a strategic imperative that will enable them to stay relevant in increasingly competitive markets. However, it remains difficult to quickly build these capabilities given the challenges with finding readily available talent and resources to get started rapidly on the AI journey. Cloudera recently signed a strategic collaboration agreement with Amazon […] Read blog p
Storage infrastructure using HBase behind LINE messages
Storage infrastructure using HBase behind LINE messages1 of 46
Clouderaの品質保証・CDHのテスト工程について by Andrew bayer
2012/7/31に実施したCloudera QAセミナーより 「Clouderaの品質保証 CDHのテスト工程について」 Cloudera Kitcen team / Andrew Bayer
Hadoop vs MPPデータベース
Kazuki Ohta @kzk_mover MPP DBとして古参のSybaseIQは15年以上存在しており、値段感も手頃な奴もある。対してHadoopを使ってる人は理由があるし、安くて手軽なMPPデータベースが出てきたから安易にHadoopからそちらに移るのはシステムのPros/Consを正しく理解していなかったケース。 2013-05-27 14:22:05 Kazuki Ohta @kzk_mover Twitter/Evernote/Netflixを見ていると、生の非構造化データをとにかくHadoopに貯め、MRで構造化したデータキューブをMPPDBに入れ低レイテンシで解析するのが勝ちパターン。大企業では全データソースのスキーマをIT部門が管理するのは困難もしくは不可能。 2013-05-27 14:22:50
Cloudera Blog
Riding the wave of the generative AI revolution, third party large language model (LLM) services like ChatGPT and Bard have swiftly emerged as the talk of the town, converting AI skeptics to evangelists and transforming the way we interact with technology. For proof of this megatrend look no further than the instant success of ChatGPT, […] Read blog post
Dynamic Reconfiguration of Apache ZooKeeper
Introduction to the Mysteries of ClickHouse Replication, By Robert Hodges and...Altinity Ltd
Hadoop summit 2012 report
第10回Hadoopソースコードリーディングで発表した資料です。 2012年6月に開催されたHadoop Summit の参加レポートで、YARN、HBase、HDFS HA などのセッションを紹介しています。
Hoopの性能を確認してみたらもうlibhdfsとかオワコンでHoop使えって結果になった - たごもりすメモ
前に書いた エントリ の通りHoopが有望な感じだったんだけどどのくらいの性能が出るのか見てみないことには本番投入して性能出ませんでした乙、ということになりかねない。ので見てみた。 なお検証に関係する環境としては以下の通り。ちなみに前はCDH3u1で試してたけど、今回はCDH3u2 (JDK6u29) on CentOS5。メモリが問題になることは全くないので全て省略。 ベンチ用サーバ Intel Xeon 4Core HT 2.4GHz データ中継サーバ (deliver) Intel Xeon 4Core HT 2.4GHz Hadoop NameNode (+JobTracker) (namenode) Intel Xeon 1Core HT 3.16GHz Hadoop DataNode + TaskTracker x9 Intel Xeon 1Core HT 3.16GHz Ho
管理が困難―分散処理の常識はZooKeeperで変わる
管理が困難―分散処理の常識はZooKeeperで変わる：ビッグデータ処理の常識をJavaで身につける（8）（1/3 ページ） Hadoopをはじめ、Java言語を使って構築されることが多い「ビッグデータ」処理のためのフレームワーク／ライブラリを紹介しながら、大量データを活用するための技術の常識を身に付けていく連載 分散処理の課題が「管理」なのは常識 複数の計算機上で動作（分散）するアプリケーション、ソフトウェアが多く存在します。分散ソフトウェアは複数の計算機で動作することで大量のデータを扱えたり、高負荷な状況に対処します。本稿では、複数の計算機（クラスタ）で動作する各サーバを「インスタンス」と呼びます。 本連載で紹介した分散Key-Valueデータベースである「HBase」は複数の計算機で動作する代表的なソフトウェアです。両ソフトウェアはともに「Apache ZooKeeper」（以下、Z
ScalaでMapReduce（導入編） | mwSoft
概要 Eclipse ＋ Maven ＋ ScalaでMapReduceしてみた。 割と強引なやり方なのでこれが正しいのかと言われると微妙ですが、とりあえず我が家の環境ではそれなりに動いてくれてます。 JavaやHadoopの導入は済んでいるものとします。済んでない場合は、とりあえず擬似分散モードなどで動く状態を作りましょう。本例ではCDH3を使って完全分散モード上で動かしています。 @Date 2011/11/02 @Versions CDH3, Scala2.9.1, Eclipse3.7, Maven2 @Updated 2012/02/26 Mavenのscopeでprovidedを使うよう変更 必要なものを揃える まずMaven2をインストールします。sbtでもできると思います。 $ sudo apt-get install maven2 次にEclipseをダウンロードします。
GitHub - jboulon/Honu: Honu is a large scale data collection and processing pipeline
Honu Honu a large scale streaming data collection and processing pipeline build in the cloud for the cloud. Netflix moved a large portion of their infrastructure to the cloud in order to meet our reliability, scalability and availability requirements. As we solved our reliability, scalability and availability requirements on the application side, we open a new range of challenging problem on the l
hadoop アドベントカレンダー 2011 1日目 CDH hadoop/hive/hbase を eclipse プロジェクトとしてインポートする - 科学と非科学の迷宮
hadoop アドベントカレンダー 2011、1日目及びその他空いているところ全部を担当する @shiumachi です。 最初はサポートの話を書こうと思ったのですが、せっかくのアドベントカレンダーの初日なので少しだけ技術的なことを書くことにします。 あと最初に断っておきますが、私の書く記事は基本的に全て CDH ベースです。 (バージョンは CDH3u2) 今日は eclipse プロジェクトへのインポート方法を紹介します。 ドキュメント化されてるようで実はされてないっぽいので備忘録代わりに記載します。 ファイルのダウンロード、展開 ここから DL してください。 hadoop の場合は hadoop-0.20.2-cdh3u2.tar.gz です。 展開は普通に tar xf してください。 ant の実行 ant eclipse-files と叩いてください。すぐに終わります。 ec
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
HBase at LINE
http://hadoop.apache.org/common/docs/current/hadoop-yarn/hadoop-yarn-site/WebHDFS.html
English (US)
Hive sourcecodereading
NTTデータ公式サイト
