本記事は、Cloudera ソフトウェア・エンジニアリング・マネージャー bc Wong による記事を翻訳したものです。 原文については以下のページをご覧ください。 How-to: Automate Your Cluster with Cloudera Manager API - Cloudera Engineering Blog API access was a new feature introduced in Cloudera Manager 4.0 (download free edition here.). Although not visible in… APIからのアクセスは、Cloudera Manager 4.0 で新たに追加された機能です。目で見えるUI部分ではわかりませんが、プログラマティックなクラスタ操作へのアクセス権(たとえば、構成や再起動など)や情報の監視(ヘル
Preferred Networks (以下PFN)では、「現実世界を計算可能にする」「全てのひとにロボットを」という目標のもと、機械学習を始めとしたあらゆる計算技術を用いて研究開発に日々取り組んでいます。その過程では必ずといっていいほど、データの保存や読み出しが必要になります。ここでは、我々がどのようにデータ管理をしているか、また、その過程でどのようにHadoopを利用しているかについて紹介したいと思います。 写真: PFNカラーリングのストレージサーバー Hadoop導入の経緯 Hadoopが多く利用されているようなログ分析や、エンタープライズ向けのETL処理やデータサイエンスに比べると、深層学習の分野でよく利用されているような規模のデータは比較的小さいです。よく画像認識のベンチマークとされるImageNetの2012年のコンペで利用されたデータセットは200GB程度です。これはそもそ
Cloudera DirectorはClouderaが提供するクラウドへのCDHのプロビジョニングツールです。Cloudera Directorを使うと、AWS、Azure、GCPに簡単にCDHのクラスタを構築することができます。この記事では、Cloudera Directorをローカルマシンに導入するメリットと方法を紹介します。 Cloudera Directorは何ができるのかCloudera Directorは、異なるクラウド環境でも統一されたインターフェースでクラスタ管理をできるようにするためのものです。CDHクラスタを管理するCloudera Managerよりもう一段上のレイヤーで、インスタンスの立ち上げからクラスタの構築・デプロイ・停止、設定ファイルでのクラスタ構成の管理などができます。 https://www.slideshare.net/savu.andrei/intro
Cloudera World Tokyo 2016 (http://www.clouderaworldtokyo.com/) での講演内容です
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く