そろそろSTFのデータベース運用についてひとこと言っておくか - blog.nomadscafe.jp
祝オープンソース化。 STF 分散オブジェクトストレージシステム http://labs.edge.jp/stf/ ライブドアのサービスで主に画像管理用に使っているSTFがオープンソースで公開されています。 Perl/PSGI、Q4M、MySQL、Apacheという、Webアプリケーションエンジニアにとってとてもなじみやすい構成を取っており、実際運用もしやすくなっています。 ただひとつ気になるのはMySQLのデータのデカさ。3億オブジェクト／10億エンティティを保存した段階でのMySQLのデータサイズは、約220GBにもなります。これを潤沢にメモリを積み、SSDを4本RAID10にしたサーバにて運用しております。 データの取り回しも大変で、データのダンプに数時間、リストアに数十時間、レプリケーションが追いつくのにまた数時間と移設作業を行うのにまるまる一週間かかるような感じです。とってもカジ
GreenBuckets という Object Storage を作りました - blog.nomadscafe.jp
GreenBuckets という Object Storage を作りました Object Storage とは何かというと、OSSではOpenStack Object StorageとかMogileFS 、Webサービスで使われているところでは mixi の ImageCluster とか livedoor の STF とか、比較にならないけどAmazon S3とかそういったたぐいのものです。しばしば画像のストレージなんかに使われていると思います。今回作ったのは GreenBuckets というもので、mixiのImageClusterの構成をまねしつつ、stfと同じようにバケット単位での操作を可能としています。なんですでにあるのに作ったのかというと、主に「つくってみかったから」ですね。一応目標として シンプルだけど使える cpanm でインストールが完了する できるだけ少ない依存関係
Serial Attached SCSI - Wikipedia
SASコネクター(Internal) SASコネクター(External) Serial Attached SCSI（SAS; サス）は、コンピュータにハードディスクドライブ等のストレージデバイスを接続するためのインターフェースである。SCSI規格の一種であり、それまではパラレル通信であったSCSI規格をその名の通りシリアル化したものである。 "Ultra-320 SCSI"の後継にあたる規格である。サーバとHDD、もしくはテープドライブとの接続に用いられることが主である。コンシューマ向けにはシリアルATA(SATA)の方がよく使われている。 INCITS (International Committee for Information Technology Standards)のT10技術委員会がプロトコルの開発・維持を行い、SCSITA（SCSI Trade Association）が
Needle in a haystack: efficient storage of billions of photos
Facebookにログインして、友達や家族と写真や近況をシェアしましょう。
Welcome to Swift’s documentation! — Swift 2.33.0.dev145 documentation
Welcome to Swift’s documentation!¶ Swift is a highly available, distributed, eventually consistent object/blob store. Organizations can use Swift to store lots of data efficiently, safely, and cheaply. This documentation is generated by the Sphinx toolkit and lives in the source tree. Additional documentation on Swift and other components of OpenStack can be found on the OpenStack wiki and at http
eSATAを使いこなす！[RATOC]
eSATAを使いこなす！ 外付けのハードディスクや光学ドライブをパソコンに接続する手段として、手軽なUSB2.0が選択されることが多い中、大容量データの高速転送を求めるユーザは、外付け用ポートとして「eSATA」を選択しています。ここでは、内蔵SATA規格から生まれたeSATAならではの特徴と、eSATAに対応した機器をご紹介します。 従来から内蔵用の規格として広く採用されてきたパラレルATA（IDE)は、133MB/sを上限に速度向上が困難になりました。そこで、シリアル転送のATA（SATA）が新世代のストレージ規格として誕生しました。現在、SATAは内蔵用スタンダードインターフェイスとしての地位を確立しています。 SATAの転送速度は1.5Gbps(約150MB/s)からスタートし、現在は3Gbps(約300MB/s)に対応した製品も数多く存在しています。高速性だけではなく、ケーブ
ポート・マルチプライヤで大容量ストレージを構築する（１）
ポート・マルチプライヤ(PMP:Port Multiplier)を使って大容量ストレージを構築・運用する方法を解説します。 写真は、HighPoint社のRAIDカード RocketRAID 2310(以下、RR2310)です。PCI Express x4の4ch SATA2 RAIDコントローラですが、メーカページを見てもPMPに関する記述はありません。しかし、外付けeSATA 4ポートのRocketRAID 2314(以下、RR2314)のページには、Port Multiplier (PM) ready up to 20 Drives という記述があります。RR2310とRR2314の基板写真を見る限り、同じ構成に見えますし、RR23XXは、ファームも共通のようです。ですから、RR2310でもPMPが使える可能性があります。（追記：問題なく使えます。） PMPが使えると何が嬉しいのでし
ICY DOCK MB882SP-1S-1 B ブラックの通販価格を比較
ICY DOCK MB882SP-1S-1 B ブラックの販売価格や送料込み価格について並び替えて比較することができます。ポイント、支払い情報や在庫情報も掲載していますので、お買い物の前に是非ご利用下さい。
Dirac CRS-2136SS 価格比較
CRS-2136SS 価格比較 ホーム > パソコン > リムーバブルケース > Dirac(ディラック) > CRS-2136SS Dirac 2009年 5月20日 登録 CRS-2136SS お気に入り登録 1 最安お知らせメールが受け取れます 価格情報の登録がありません 価格推移グラフ お気に入り製品に登録すると、価格が掲載された時にメールやMyページでお知らせいたします 価格帯：¥―～¥― (―店舗) メーカー希望小売価格：¥― 設置タイプ：内蔵型 HDDサイズx設置台数：3.5インチ x 3 設置ベイサイズ：5 メーカートップページ リムーバブルケースの人気売れ筋ランキング ―位 この製品をキープ ピックアップリストを作成 ご利用の前にお読みください 本ページでは掲載するECサイトやメーカー等から購入実績などに基づいて手数料を受領しています。 CRS-2136SS の価格比較
クラウドストレージの解説と、はてなの少し変わった使いかた - はてなニュース
2010年9月にはてなの最高技術責任者（CTO）に就任した田中慎司です。はてなの技術全般を見ていく仕事をしています。現在の筆者が注目する技術の一つがクラウドで、はてなのサービスでも利用を始めています。クラウドの技術というと、アプリケーションの実行環境が取り上げられがちです。筆者も2010年3月にセミナーで講演したり、クラウドについてのエントリーを書いたりしました。今回は、クラウドの利用で見逃せないもう一つの部分、クラウドのストレージサービスを、クラウドの利用を検討するエンジニア向けに解説します。 ■ クラウドのストレージサービスとは はてなのようなWebサービスを実現するには、ざっくりいって2種類の環境を用意する必要があります。一つは、サービスを動かすためのアプリケーションを実行するサーバ環境で、もう一つがユーザからアップロードされる多数のコンテンツを保存するストレージ環境です。Micro
サーバ仮想化環境でのお薦めストレージ構成 at nkjmkzk.net
A Place to discuss Oracle VM, Linux and Other Great Software.サーバ仮想化環境では「リソースプール」という概念を実現するために共有ストレージ構成が多く採用されます。しかし、そもそも現在のCPU性能とDISK I/O性能を鑑みれば、そもそもDISK I/O性能はCPU性能の進化に追いついておらず、共有ストレージ構成とすれば追い打ちをかけるようにそこがボトルネックとなります。多くの環境ではサーバ仮想化環境では「共有ストレージ型前提。しかしこれまでの何倍ものI/O性能が必要」という要件に対応するため、ミドル〜ハイエンドのストレージ装置を採用するという選択を行っています。その結果初期導入費用が高価なのはもちろんですが、そのあとも莫大な保守費を支払うことになります。そして拡張できるものの、拡張するためのパーツがまた高価、というスパイラルに陥
新しいストレージを構築してみた(ハード編)
日本最強の看板を下ろしたミラーサーバftp.jaist.ac.jpの管理者の一人が、 このサーバにまつわるよしなしごとを語ります。 English versions of some posts on another blog. 先日壊れたSATAのディスクアレイの筐体ですが、これは寄贈してもらった試作機なので(こんなんばっかり)、修理については営業と相談してくれとサポートに言われてしまいました。お金を出して修理してまで使いたい筐体でもないので、お財布と相談して新しいストレージを調達することにしました。 今回はSSDを4つ外付けしたときと同じ方法を使いました。Supermicroのシャーシに、マザーボードなしで電源が入るようにするボードを付けてSASエンクロージャを作って、2TBのSATAのHDDを12個突っ込みました。 今回のシャーシは、3.5インチのスロットが24個にLSIのSASエクス
Dropboxを超えた？オンラインストレージ「SugarSync」 - らっこのじゆうちょう
最近「SugarSync」というオンラインストレージを見つけたのですが、これが本当にスゴいです。 （SugarSync自体はかなり前からあったらしいのですが、最近大幅に改良され2GBの無料版も追加されたようです） これまではDropboxを使っていたのですが、同期したいファイルは必ずDropboxフォルダの中に入れなければなりませんでした。 また、オンラインにバックアップしたファイルは全て、DropBoxを使っている別のPCにも同期されてしまっていました。（そのシンプルさがDropboxの良いところでもあるのですが） けれど、「元の場所に置いたままオンラインにバックアップしたいファイル」「別PCとは同期しなくても良いけどオンラインにはバックアップしておきたいファイル」も結構あるわけで、特に後者は別PCのディスク容量が残り少ない場合など、かなり困ったりします。 それに対して「SugarSyn
低価格な「iSCSI製品」がもたらす福音とは？ (1/2)
SCSIコマンドをIPで伝送する「iSCSI（アイスカジー）」というプロトコルが注目を集めています。iSCSIを用いることで、ユーザーはネットワーク上にあるストレージをローカルドライブのように利用できるようになります……といっても、なかなかイメージしにくいのも事実でしょう。確かにiSCSIは非常にメリットの伝わりにくいテクノロジーではあります。ここでは実際に製品を使いながら、iSCSIのメリットと使用感を解説していきます。 SCSIからiSCSIへ iSCSIのメリットについて理解するには、従来企業が抱えていたストレージの課題と、技術革新についておさらいしておく必要があります。 ストレージとは「データの貯蔵庫」を指します。その意味では、メモリカードもストレージではありますが、一般的には物理的には「ハードディスク」やそれらを束ねた「ディスクアレイ」が多いようです。 ハードディスクは通常コンピ
iSCSI対応ネットワークストレージ「TeraStation IS」の魅力
バッファローからiSCSI対応ストレージ「TeraStation IS」が登場した。従来、企業のサーバ用外付けストレージにはディスクアレイが用いられてきたが、これは100万円を超える高価なもの。低価格なTeraStation ISによって、ハイパフォーマンスで信頼性の高い環境を手軽に実現できるようになる。 帯に短し、たすきに長し――増設HDDの憂うつ 大容量の保存領域を求められるサーバ用の外付けのストレージには、一般的にディスクアレイが用いられてきた。RAIDコントローラを内蔵し、複数のHDDを収納してホスト側からは1台のドライブとして見えるディスクアレイは、SCSIやファイバーチャネルで接続し、ローカルドライブと同等以上のパフォーマンスと信頼性を提供する。しかし、ディスクアレイの価格帯は100万円以上が当たり前の世界であり、エンタープライズ向け以外での利用はあまりない。 だが、現在サーバ
TechCrunch | Startup and Technology News
Welcome to Startups Weekly — Haje‘s weekly recap of everything you can’t miss from the world of startups. Sign up here to get it in your inbox every Friday. Well,…
分散ストレージの収束する方向 - sdyuki-devel
サーバーサイドの分散ストレージについて。広域P2Pとかデータセンター間で同期するとかCDN云々は知らない。 kumofsのアプリケーション-Gateway間のインタフェースは Get(key) だが、Gateway-Server間のインタフェースは実は GetByHash(key, partitioning-id)（とGetByHashIfModified(key, partitioning-id, time)）だったりする。（実際の名前は違うけど意味は同じ） 現状ではpartition-idはkeyにハッシュ関数を掛けて自動生成するが、実際には任意の値を指定できる。 つまり関連するkeyには同じpartitioning-idを指定して同じノードに保存されるようにして、partitioning-idが同じkey同士ならトランザクションできるようにすることも、案外に容易にできる。 Consi
分散ファイルシステム/ブロックデバイスをまとめる - Blog by Sadayuki Furuhashi
昨日KLab勉強会#2の資料を公開しましたが、その中で動的な分散ファイルシステムを設計していると書きました。分散ファイルシステムというのは既にいろいろ存在しているわけですが、情報が分散していてサッパリ分からないので、このあたりでまとめてみたいと思います。 間違っていたり古かったりするに違いないので、正確な情報は本家の情報を参照してください。 ファイルシステムレイヤー NFS GFS(Global File System) OCFS GlusterFS Lustre 下位レイヤー Filesystem Block Device Block Device Filesystem Block Device 読み込み ○ ○ ○ ○ ○ 書き込み ○ ○ ○ ○ ○ アクセスの冗長化 × ○ ○ ○（負荷分散と排他） × データの冗長化 下位レイヤーに依存 下位レイヤーに依存 下位レイヤーに依存 ○
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
大規模分散システムにおけるストレージの集約
Data Robotics、独自冗長化技術搭載のストレージ「Drobo」を国内本格展開 ～RAID 1/5/6相当の機能を高い柔軟性で実現