Tsuchiya Yoshihiro: facebookのhaystackについてメモ
Saturday, January 30, 2010 facebookのhaystackについてメモ Facebookの画像データは大量で、Flickrをはるかにしのぐのだそうです。 画像データを保存するのがNeedle in haystackというシステム。読んでみたので、以下にメモ。 画像の量は、1.5PB、枚数は150億枚、それぞれ何枚かサイズを変えて保存するので600億枚となります。増加量は、一週間に2.2億枚、25TB。 前はNFSサーバを使ってHTTPサーバのレイヤとストレージのレイヤをわけていました。しかしNFSサーバ上のメタデータ（directoryとinode)の量が多く、そのためのIOで性能がでませんでした。このため、CDNを使ったり、プロファイル写真のキャッシュを行ったり、NFSのファイルハンドルのキャッシュを行ったりしていました（特に言ってる理由は何なのでしょう。N
Facebookの写真共有ストレージ 「HayStack」について調べてみました - モノノフ日記
About HaystackView more documents from Tomohiro MITSUMUNE. 先月の社内勉強会向けの資料をSlideShareに公開しました。写真サイト絡み、ということでFacebookのHaystackについて調べてみました。情報ソースはFacebookの中の人が技術情報として公開している文章を日本語でまとめてあるだけです。また少し前に取り上げられていた37signalsのHaystackではありません。(37Signalsのウェブデザイナー探しサービスHaystack | 秋元@サイボウズラボ・プログラマー・ブログ) 英語があんまりよくわかってない箇所もあるんですがザックリと意訳すると、 Unix系のファイルシステムで多く採用されているinodeは莫大な画像枚数を扱う場合、ファイルアクセスのレスポンス速度を維持するには構造に問題があったので中身か
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
About Haystack
