Cloudera Blog
Riding the wave of the generative AI revolution, third party large language model (LLM) services like ChatGPT and Bard have swiftly emerged as the talk of the town, converting AI skeptics to evangelists and transforming the way we interact with technology. For proof of this megatrend look no further than the instant success of ChatGPT, […] Read blog post
米デル、Oracle 12c用垂直統合システム、MySQL用アプライアンス、Cloudera用インメモリアプライアンスなど、データベース特化の垂直統合システムを相次いで発表
米デル、Oracle 12c用垂直統合システム、MySQL用アプライアンス、Cloudera用インメモリアプライアンスなど、データベース特化の垂直統合システムを相次いで発表 「デルはアプライアンス群への提供へと急速に移行しており、お客様は大規模なエンタープライズアプリケーションの管理や運用のシンプル化による価値を受けられるようになります」（6月24日付けプレスリリースから） 米デルはフロリダでの同社のイベント「Dell User Forum」において、データベースに個別に特化した垂直統合システムやアプライアンスを相次いで発表。エンタープライズ市場においてはアプライアンス戦略に注力していくことを明らかにしました。 発表された主なシステムは以下の通り。 Dell Integrated System for Oracle 12c Database フルラックに「Dell PowerEdge Se
Building a Hadoop Data Warehouse with Impala
This talk was held at the 11th meeting on April 7 2014 by Marcel Kornacker. Impala (impala.io) raises the bar for SQL query performance on Apache Hadoop. With Impala, you can query Hadoop data – including SELECT, JOIN, and aggregate functions – in real time to do BI-style analysis. As a result, Impala makes a Hadoop-based enterprise data hub function like an enterprise data warehouse for native Bi
データセンター技術への投資としては「過去最大」：米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合 - ＠IT
米インテルがクラウデラに出資、Hadoopディストリビューション「CDH」へ統合：データセンター技術への投資としては「過去最大」 米インテルは2014年3月27日、Apache Hadoopディストリビューションプロバイダーの米クラウデラ（Cloudera）への出資を発表した。インテルのHadoopディストリビューションは、クラウデラの「Cloudera's Distribution including Apache Hadoop」（CDH）に統合する予定だ。 米インテルは2014年3月27日、Apache Hadoopディストリビューションプロバイダーの米クラウデラ（Cloudera）への出資と、広範な戦略提携を発表した。インテルは同社の筆頭戦略株主となり、取締役に就任する。 クラウデラへの出資は、インテルがデータセンター技術に行う投資としては過去最大級。Hadoopをベースとするクラウ
CentOS 6 で QJM ベースの NameNode HA + 自動フェイルオーバを構成した時のメモ - 映画は中劇
Hadoop HDFS の NameNode は長い間単一障害点だったのですが、 CDH 4 から、 NFS 上の edits ログを共有する形でのアクティブ/スタンバイ構成が可能になりました。しかし、フェイルオーバが中途半端になると共有 edits ログが破壊されるとか、 NFS が新しい単一障害点になってしまうとかで、評判が良くなかったようです。 そこで CDH 4.1 からは、 JournalManager という、 edits ログを書き込む専門のデーモンが追加されました。アクティブな NameNode は、 Quorum Journal Manager (QJM) を通じて、共有 edits ログを JournalNode クラスタに書き込めるようになりました。 今回、 QJM ベースの NameNode 冗長化を試すため、 HDFS クラスタを作ってみました。同時に ZooKe
Native Parquet Support Comes to Apache Hive - Cloudera Blog
Bringing Parquet support to Hive was a community effort that deserves congratulations! Previously, this blog introduced Parquet, an efficient ecosystem-wide columnar storage format for Apache Hadoop. As discussed in that blog post, Parquet encodes data extremely efficiently and as described in Google’s original Dremel paper. (For more technical details on the Parquet format read Dremel made simple
CDH5 ベータ1 のNFSv3ゲートウェイを試してみました
HDFSのNFSv3 Gateway機能を試してみる 以前の記事にも書きましたが、Hadoop 2.2.0の新機能の一つに「NFSv3に対応」という点があります。「CDH5 beta1を速攻で試す！」でCDH5b1のパッケージをみたように、NFSv3 GatewayはCDH5 b1にも含まれています。制約は多いようですが、モノは試しに使ってみましょう。 パッケージのインストール [shell gutter=”false”] [root@localhost ~]# yum -y install hadoop-hdfs-nfs3 Loaded plugins: fastestmirror, refresh-packagekit, security Loading mirror speeds from cached hostfile * base: centos.ustc.edu.cn * up
Hadoop Operations #cwt2013
#cwt2013 Clouderaの小林 @d1ce_ によるHadoop構築・運用のポイントについてのスライドを公開しました。2013年度版ハードウェア選定、HA構成の考え方から、実際にサポートで直面した事例についても紹介しています
Hadoopの派生関係 2013年度版
Hadoop distributions as of 20131231 from shingo furuyama 去年というか今年の初めに書いたものが割と評判がよかったので今年もやってみました。 Slideshareの仕様かなにかわかりませんが、透過しないはずのオブジェクトが透過される扱いになって絵が汚くなってしまったので、bmpをpptに張り付けるという最終的によくわからない方法でSlideshareに乗せることになってしまいましたが、遠目に見る分には問題なさそうなのでこれで。 文章そのものは去年というか今年の雰囲気だとあまり読まれていなかったようなので、今年も適当に各ディストリビューションについてあれしようかと思います。僕としてはなにを議論したいかというのはあまりなくて、今年というかHadoopを触っていたころに思っていたことをフラッシュしてる感じです。去年というか今年の初めはHado
Cloudera Impalaのアーキテクチャ
（本ブログは若干古くなっているので、Impala情報ページをご覧下さい。比較的新しい情報をまとめています） 一人アドベントカレンダー２５日目、最終日です。 最終日はCloudera Impala（以下Impala）について。Impalaは分散クエリエンジンです。最近EMRでも利用できるようになりました。 Hiveとは何が違うのか、なぜHiveを高速化しなかったのかというような意見もあるようですが、その答えはClouderaの創業者でもあるMike Olsonが今週公開したブログ（Impala v Hive）に詳しく書かれています。かなり興味深い内容ですが、今のところ英語のみです。きっと日本語の記事もいずれ読めるようになるはず。。。 さて、最終日はCloudera Impalaのアーキテクチャについて書いてみます。引用している資料はSlideshareでClouderaが公開しているものです
Cloudera World Tokyo 2013に参加してきました #cwt2013 | DevelopersIO
Cloudera World Tokyo 2013に参加してきました。 http://www.cloudera.co.jp/jpevents/cwt2013/index.html 午前中は用事があったので午後からの参加となりました。参加したのは以下のセッションです。 13時30分〜14時10分 CDH最新情報 14時25分〜15時05分 Hadoopデータプラットフォーム 15時30分〜16時10分 SQLで実現するバッチ処理とストリーム処理 16時25分〜17時05分 Hadoopの運用 17時20分〜18時00分 Hadoop コミュニティと YARN の現状 ということで参加レポートですが、現時点でスライドが公開されていないものが大半だったので、各セッションに関して概要といいつつ詳細まで書いています。ここについてはスライドが公開されたタイミングで差し替えていく予定です。 CDH最新情
Presentations from the Cloudera Impala meetup on Aug 20 2013
Presentations from the Cloudera Impala meetup on Aug 20 2013: - Nong Li on Parquet+Impala and UDF support - Henry Robinson on performance tuning for Impala
Cloudera Blog
Riding the wave of the generative AI revolution, third party large language model (LLM) services like ChatGPT and Bard have swiftly emerged as the talk of the town, converting AI skeptics to evangelists and transforming the way we interact with technology. For proof of this megatrend look no further than the instant success of ChatGPT, […] Read blog post
Apache HBase I/O - HFile - Cloudera Blog
Introduction Apache HBase is the Hadoop open-source, distributed, versioned storage manager well suited for random, realtime read/write access. Wait wait? random, realtime read/write access? How is that possible? Is not Hadoop just a sequential read/write, batch processing system? Yes, we’re talking about the same thing, and in the next few paragraphs, I’m going to explain to you how HBase achiev
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Why Google Capital Placed Its Hadoop Bet On MapR
Cloudera Blog
CDHの歴史とCDH5新機能概要 #at_tokuben
Cloudera | ハイブリッドデータカンパニー
Cloudera Enterprise hadoopスターターパッケージ
Parquet Hadoop Summit 2013
