Kudu情報
Kudu情報まとめ (Photo by freepik) Clouderaが開発した新しいストレージエンジン、Kudu（クドゥ）に関する情報のまとめページです。徐々に拡充させる予定です。 2017/2/10 [Blog]: Qiita: Cloudera Enterprise 5.10でApache Kuduを使う Qiitaに寄稿したので興味があれば是非 2017/2/7 [News]: Cloudera Enterprise 5.10でApache Kuduがサポート対象に！ Cloudera Enterprise 5.10がGAに [blog]: Apache Kudu: リアルタイム分析のトップユースケース 2016/9/26 [News]: Kudu 1.0 リリース！ついに1.0が登場 Apache Kudu 1.0.0 released [Blog]: Apache Kudu
Hive on Spark のベータ版！
寝る間際に見てしまった、「Download the Hive-on-Spark Beta」という文字。 下記のClouderaのブログによれば、Cloudera ManagerからHive on Sparkがセットアップできるとの情報が。 「A Hive-on-Spark beta is now available via CDH parcel. Give it a try!」 http://blog.cloudera.com/blog/2015/02/download-the-hive-on-spark-beta/ ドキュメントも用意されています。 http://www.cloudera.com/content/cloudera/en/documentation/hive-spark/latest/PDF/hive-spark-get-started.pdf さっそく試さなければ！ ※本
Cloudera ImpalaとCatalog Serviceの話
Impalaのメタデータ ImpalaはHiveと共通のメタストアを使用しています。従来、メタデータが変更された場合には、Impalaで”invalidate metadata/refresh”コマンドを使用して変更を認識する必要がありました。Impala 1.2.Xから管理方法が変更となり、メタデータの変更を管理するサービス、Catalog Serviceが登場しています。 Catalog Serviceはメタデータの管理を行う中央型のサービスです。Catalog Serviceはメタデータの更新を処理し、クラスタの全てのImpaladノードに対してどのメタデータの変更が行われたのかをStateStore経由で送信します。 このサービスにより、Impalaによって行われたメタデータの変更は”invalidate metadata”コマンドを実行することなく、全てのノードで自動的に認識され
HDFSのappend機能を使った場合の編集ログ
編集ログとHDFSの追記 以前、HDFSのfsimageとeditsの変更 | Tech Blogに書いたように、HDFSのeditsにはトランザクションが記録されます。 HDFSのappend(追記)機能を使って書き込んだ場合、editsの内容はどのように見えるのでしょうか？ のコードを利用させていただき検証しました。 サンプルコードの準備 上記のコードをコピーしてJavaのファイルを作成します。（ただ、パッケージ行のみコメントアウトしました） Avroの準備 コードで使用しているFsInputはCDH4には含まれていないようなので、http://avro.apache.org/からソース一式をダウンロードします。 $ wget http://ftp.tsukuba.wide.ad.jp/software/apache/avro/stable/avro-src-1.7.4.tar.gz
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
