続・Apache Ozone をやっていた一年 - Preferred Networks Research & Development
PFN では HDFS から Apache Ozone への移行を進めています。Ozone クラスタは順調に社内のプロジェクトで採用が進んでデータが増加しており、これまでの 2 年間は数度にわたってクラスタを拡張しました。ところが、段階的にクラスタを拡張したことでデータノード間でのディスク使用量の不均衡が問題になってきました。例えば、全てのディスクが 8 割埋まっている Ozone クラスタにまったく空のデータノードを追加すると、データ使用量に大きな不均衡が生じます。新規追加した空のサーバにデータを移動することをリバランスといいますが、運用しやすいようにリバランスを実装する方法は自明ではありません。HDFS ではノード単位でディスク使用量を規定の範囲内に均すように移動する Balancer やデータノード内のディスクを同様に移動する Disk Balancer があります。一方で Ozon
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜
PFN のオンプレML基盤の取り組み / オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜 PFNは，「現実世界を計算可能にする」をVisionとして，膨大な計算量を必要とするシミュレーションや深層学習などの計算ワークロードを実行するためのオンプレML基盤を持っています． この取り組みについて、「使いやすい環境」、「リソースの効率的かつフェアな利用」、「信頼性・運用省力化」の観点から紹介します。 本イベント「オンプレML基盤 on Kubernetes 〜PFN、ヤフー〜」では、オンプレミスの Kubernetes クラスタ上に構築された機械学習基盤を持つ PFN とヤフーのエンジニアが自社での取り組みについて語り尽くします！ イベントサイト: https://ml-kubernetes.connpass.com/event/239859/Read less
Apache Ozoneをやっていた一年 - Preferred Networks Research & Development
Why Apache Ozone? これまでPFNでは増え続けるデータやユースケースに対応するために、スケールアウト可能なストレージシステムをずっと模索し続けてきました。シミュレーションを基軸とした戦略を採用した[1]ことによりデータ量はさらに増加し、データ保管システムの重要性は高まっています。 Preferred Networks におけるHadoop – Preferred Networks Research で解説した基本的な要件は今でも変わっていませんが[2]、現在メインのシステムとして運用している Hadoop (HDFS) にはいくつかのシステム運用上の課題があります。たとえば、一番大きなHadoopクラスタは現時点で物理的に10PB近くのディスク容量を持っていますが、Ubuntu 16.04で動作しています。OSのバージョンアップを伴うクラスタのIn-placeなアップグレー
Multi-Raft: Apache Hadoop Ozoneの書き込みパフォーマンスを加速する
2020/06/24 に公開された「Multi-Raft — Boost up write performance for Apache Hadoop-Ozone」の翻訳です。 関連リンク Apache Hadoop Ozone: Apache Hadoop 用のオブジェクトストアの紹介 Apache Hadoop Ozone: オブジェクトストアの概要 Apache Hadoop Ozone — オブジェクトストアのアーキテクチャー Ozoneのベンチマーク: CDP用Clouderaの次世代ストレージ Apache Hadoop Ozone セキュリティ — 認証 この記事は、Li Cheng, Software Engineer, Tencent Inc.による寄稿です 本番環境で Hadoop-Ozone を利用するApache Hadoop Ozone は、ビッグデータプラットフ
Ozoneに10億ファイル
Apache Hadoop Ozoneは分散型のキーバリューストアであり、小さなファイルから大きなファイルまでの両方を管理することができます。Ozoneは、小さなファイルに関するHDFSのスケールの制限に対処するために設計されました。HDFSは大きなファイルを格納するために設計されており、HDFSでの推奨ファイル数は NameNode で3億個で、この制限を超えてのスケールはできません。 スケーラビリティを達成するためのOzoneの主な特徴は以下の通りです。 Ozoneの名前空間はローカルのRocksDBインスタンスに書き込まれ、パフォーマンス（全てをメモリに保持する）とスケーラビリティ（あまり使われていないメタデータをディスクに永続化）の間のバランスを、簡単に調整することができます。名前空間とブロックスペースの管理は、2つの異なるデーモン、OzoneManager(OM)とStorage
Apache Hadoop Ozone: Apache Hadoop 用のオブジェクトストアの紹介
著者: Arpit Agarwal 本ブログ記事は「Introducing Apache Hadoop Ozone: An Object Store for Apache Hadoop」(2018/10/08投稿)の日本語翻訳記事です。また、原文の投稿はClouderaとHortonworks合併前に記述されたものであり、いくつかのリンク、リソースにはアクセスできない場合があります。 *訳注: 元記事公開時点では 0.2.1-alpha 版が最新でしたが、日本語翻訳時(2020/3/9)は0.4.1-alpha版が公開されています。 1. はじめにApache Hadoop 分散ファイルシステム(HDFS)はビッグデータ用のデファクトファイルシステムになっています。現実世界では、HDFSがどれほどスケーラブルで堅牢であるのかを忘れがちです。私たちのお客様は数千ノードのクラスターを実行してい
Apache Hadoop Ozone — オブジェクトストアのアーキテクチャー
著者: Arpit Agarwal 本ブログ記事は「Introducing Apache Hadoop Ozone: An Object Store for Apache Hadoop」(2018/10/15投稿)の日本語翻訳記事です。また、原文の投稿はClouderaとHortonworks合併前に記述されたものであり、いくつかのリンク、リソースにはアクセスできない場合があります。 *訳注: 元記事公開時点では 0.2.1-alpha 版が最新でしたが、日本語翻訳時点(2020/3/31)では0.5.0-beta版が公開されています。 1. はじめにApache Hadoop Ozoneは、小さなファイルと大きなファイルの両方を同じように効率良く管理できる分散キーバリューストアです。Ozoneは既存のApache Hadoopエコシステムと共に良好に動作するように設計されており、操作の使
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
A Flexible and Efficient Storage System for Diverse Workloads - Cloudera Blog
Ozone Write Pipeline V2 with Ratis Streaming - Cloudera Blog
Apache Hadoop Ozone セキュリティ–認証
Ozoneのベンチマーク: CDP用 Cloudera の次世代ストレージ
Ozone_Android路上的人的博客-CSDN博客
Apache Hadoop Ozone: オブジェクトストアの概要
#ACEU19: Marton Elek – Patterns and Anti-Patterns of running Apache bigdata projects in Kubernetes
Ozone and HDFS's Evolution