[B! cdh] yassan0627のブックマーク

Building a parcel

yassan0627 2021/03/03

CDHのParcelを独自で作成する方法

hadoop
cdh

リンク

Cloudera Manager APIを使用したクラスタの自動化 | by Sho Shimauchi | Cloudera Japan Official Blog

本記事は、Cloudera ソフトウェア・エンジニアリング・マネージャー bc Wong による記事を翻訳したものです。原文については以下のページをご覧ください。 How-to: Automate Your Cluster with Cloudera Manager API - Cloudera Engineering Blog API access was a new feature introduced in Cloudera Manager 4.0 (download free edition here.). Although not visible in… APIからのアクセスは、Cloudera Manager 4.0 で新たに追加された機能です。目で見えるUI部分ではわかりませんが、プログラマティックなクラスタ操作へのアクセス権（たとえば、構成や再起動など）や情報の監視（ヘル

yassan0627 2020/09/25

リンク

Preferred Networks におけるHadoop - Preferred Networks Research & Development

Preferred Networks （以下PFN）では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ

yassan0627 2020/06/29

PFNもCDHなのか。CDPとか検討してるんかな。

リンク

GitHub - cloudera/cloudera-playbook: Cloudera deployment automation with Ansible

yassan0627 2019/04/23

リンク

Cloudera Altus Director を使ってみる - ablog

MacBook Pro (macOS Sierra) に Cloudera Altus Director をインストールして AWS に Hadoop クラスターを作成してみた。 Cloudera Altus Director のインストール Cloudera Director Server をインストールする $ brew tap takabow/cloudera $ brew install cloudera-director-server Cloudera Altus Director の起動 Cloudera Director Server を起動する $ cloudera-director-server-start クラスターの作成ブラウザで「http://localhost:7189」にアクセスし、チェックして[Continue]をクリックする。ユーザー名とパスワードを入力

yassan0627 2019/02/15

hadoop][Cloudera Altus Director]

cdh

リンク

Cloudera Directorを入れてクラウドにCDHクラスタを作ろう

Cloudera DirectorはClouderaが提供するクラウドへのCDHのプロビジョニングツールです。Cloudera Directorを使うと、AWS、Azure、GCPに簡単にCDHのクラスタを構築することができます。この記事では、Cloudera Directorをローカルマシンに導入するメリットと方法を紹介します。 Cloudera Directorは何ができるのかCloudera Directorは、異なるクラウド環境でも統一されたインターフェースでクラスタ管理をできるようにするためのものです。CDHクラスタを管理するCloudera Managerよりもう一段上のレイヤーで、インスタンスの立ち上げからクラスタの構築・デプロイ・停止、設定ファイルでのクラスタ構成の管理などができます。 https://www.slideshare.net/savu.andrei/intro

yassan0627 2019/02/15

リンク

Hive on Tez を CDH で動かす - Qiita

TezとはまずはTezの説明です。 TezはYARN上で動作するバッチ処理用のフレームワークで、Hortonworksが主導して開発しています。 Tezに近い位置付けのものには、リアルタイム処理用のSliderがあります。 HortonworksはSliderの上でStormを動かすことを計画しています。 Hive on Tezとは Hive on Tezは、上記のTezの上でHiveを動かすものです。 Hive 0.13からTez対応のパッチが入っていて、動かす準備はできています。しかし、ClouderaはCDH 5.2でHive 0.13に対応したものの、Tezをパッケージングしませんでした。そのため、そのままのCDHではHive on Tezが動きません。 Hive on TezをCDHで動かす方法 Tezはライブラリであるため、CDHのHive 0.13と組み合わせれば動作す