[HADOOP-1687] Name-node memory size estimates and optimization proposal. - ASF JIRA

I've done some estimates on how much space our data structures take on the name-node per block, file and directory. Brief overview of the data structures: Directory tree (FSDirectory) is built of inodes. Each INode points either to an array of blocks if it corresponds to a file or to a TreeMap<String, INode> of children INodes if it is a directory. [Note: this estimates were made before Dhruba rep

[kimutansk]

NameNodeのメモリ上に存在するブロック情報がレプリケーションされても増えないことが疑問でしたが、実際は増えるがファイルやブロックのサイズに比べると影響が小さいと。

[shiumachi]

NNのfsimageの1エントリあたりどれくらいのサイズになるかが記載されている。ファイル/ディレクトリ/ブロックでそれぞれサイズが違う。大分古いけど今もそんなに大差ないとは思う