Tsuchiya Yoshihiro: facebookのhaystackについてメモ
Saturday, January 30, 2010 facebookのhaystackについてメモ Facebookの画像データは大量で、Flickrをはるかにしのぐのだそうです。 画像データを保存するのがNeedle in haystackというシステム。読んでみたので、以下にメモ。 画像の量は、1.5PB、枚数は150億枚、それぞれ何枚かサイズを変えて保存するので600億枚となります。増加量は、一週間に2.2億枚、25TB。 前はNFSサーバを使ってHTTPサーバのレイヤとストレージのレイヤをわけていました。しかしNFSサーバ上のメタデータ（directoryとinode)の量が多く、そのためのIOで性能がでませんでした。このため、CDNを使ったり、プロファイル写真のキャッシュを行ったり、NFSのファイルハンドルのキャッシュを行ったりしていました（特に言ってる理由は何なのでしょう。N
Facebookの写真共有ストレージ 「HayStack」について調べてみました - モノノフ日記
About HaystackView more documents from Tomohiro MITSUMUNE. 先月の社内勉強会向けの資料をSlideShareに公開しました。写真サイト絡み、ということでFacebookのHaystackについて調べてみました。情報ソースはFacebookの中の人が技術情報として公開している文章を日本語でまとめてあるだけです。また少し前に取り上げられていた37signalsのHaystackではありません。(37Signalsのウェブデザイナー探しサービスHaystack | 秋元@サイボウズラボ・プログラマー・ブログ) 英語があんまりよくわかってない箇所もあるんですがザックリと意訳すると、 Unix系のファイルシステムで多く採用されているinodeは莫大な画像枚数を扱う場合、ファイルアクセスのレスポンス速度を維持するには構造に問題があったので中身か
agilecatcloud.com - このウェブサイトは販売用です！ - agilecatcloud リソースおよび情報
This webpage was generated by the domain owner using Sedo Domain Parking. Disclaimer: Sedo maintains no relationship with third party advertisers. Reference to any specific service or trade mark is not controlled by Sedo nor does it constitute or imply its association, endorsement or recommendation.
Hack · Programming Productivity Without Breaking Things
HackHack is an object-oriented programming language for building reliable websites at epic scale Hack reconciles the fast development cycle of a dynamically typed language with the discipline provided by static typing, while adding many features commonly found in other modern programming languages. Hack provides instantaneous type checking by incrementally checking your files as you edit them. It
GoogleとFacebookではRをどうやって使っているのか？
ひさしぶりに統計ソフトRの話。 来年こそは仕事でバリバリつかってみようと思っている統計ソフトのR。 前のエントリーでも書いているように、フリーソフトなのに高機能。（統計解析・グラフの種類が豊富） しかし、日本語での資料がまだ少ないのがちょっとイタイ…。 （最近は書籍でも多く診られるようになってきましたけどね！嬉しい限りです） ちょうど調べ物をしてたときに、「How Google and Facebook are using R」というエントリーを見つけました。 今日はその内容をちょっと日本語に訳した内容を紹介しようと思います。 紹介するサイトこの記事が書かれていたのは、Dataspora Blog というサイトで、データに関する（Big Data, open source analytics, and data visualization）記事をメインに書かれているようです。 （私は知らな
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
About Haystack
