タグ

ブックマーク / tsuchiya-yoshihiro.blogspot.com (1)

  • Tsuchiya Yoshihiro: facebookのhaystackについてメモ

    Saturday, January 30, 2010 facebookのhaystackについてメモ Facebookの画像データは大量で、Flickrをはるかにしのぐのだそうです。 画像データを保存するのがNeedle in haystackというシステム。読んでみたので、以下にメモ。 画像の量は、1.5PB、枚数は150億枚、それぞれ何枚かサイズを変えて保存するので600億枚となります。増加量は、一週間に2.2億枚、25TB。 前はNFSサーバを使ってHTTPサーバのレイヤとストレージのレイヤをわけていました。しかしNFSサーバ上のメタデータ(directoryとinode)の量が多く、そのためのIOで性能がでませんでした。このため、CDNを使ったり、プロファイル写真のキャッシュを行ったり、NFSのファイルハンドルのキャッシュを行ったりしていました(特に言ってる理由は何なのでしょう。N

  • 1