[cagra] cagra: Reliable and Flexible Distributed Storage System
やっと開発が一段落したのでお知らせ。frsyuki氏(id:viver)との共同開発作品。 1000speakers:2の３次会で二人でひたすら組んでいたアレです。 Trac: http://nyaxtstep.com/trac/nxfs 概要 cagraは手軽に構築できる分散ストレージシステムです。 memcachedの様な手軽さで、信頼性のある分散ストレージを構築できます。 機能／特徴 zeroconf 設定項目はコマンドラインパラメータに集約 UDP Multicastによる自動ノード検出 Large Data Support memcachedに比べ、大きなデータもきちんと取り扱う事ができます。 データごとのチェックサムを保持します。 数百G〜Terabyteスケールのデータもサポートする予定 可変信頼性 データに求める信頼性（レプリケーション数）をデータごとに設定することができま
![[cagra] cagra: Reliable and Flexible Distributed Storage System](https://cdn-ak-scissors.b.st-hatena.com/image/square/06a15c64ba0ceec233d86d71001ebb29a9dcbf5d/height=288;version=1;width=512/https%3A%2F%2Fcdn.blog.st-hatena.com%2Fimages%2Ftheme%2Fog-image-1500.png)
mixi Engineers’ Blog » スマートな分散で快適キャッシュライフ
今日は以前のエントリーで書くと述べたConsistent Hashingに関して語らせて頂こうかと思います。ただしConsistent Hashingはセミナーやカンファレンスなどでかなり語られていると思いますので、コンセプトに関しては深入りせず、実用性に着目したいと思います。 問題定義 分散されたキャッシュ環境において、典型的なレコードを適切なノードに格納するソリューションはkeyのハッシュ値に対しmodulo演算を行い、その結果を基にノードを選出する事です。ただし、このソリューションはいうまでもなく、ノード数が変わるとキャッシュミスの嵐が生じます。つまり実世界のソリューションとしては力不足です。 ウェブサイトのキャッシュシステムの基本はキャッシュがヒットしなかったらデータベースにリクエストを発行し、レコードが存在したらキャッシュしてクライエントに返すという流れです。ここで問題なのが一瞬
Googleの誇る巨大データベースBigTableのオープンソースクローン「Hypertable」
Googleのあの巨大な検索システムなどを支えるデータベース「BigTable」は書き込みが毎秒700MB、読み込みが毎秒18GBという化け物システムなのですが、それのクローンを作るプロジェクト「Hypertable」というのがあるようです。既にバージョンが今年の2月4日に「0.9 Alpha」まで到達しており、超巨大な分散データベースを考えている人々から注目されているようです。 詳細は以下から。 Hypertable: An Open Source, High Performance, Scalable Database http://www.hypertable.org/ ダウンロードは以下から。同梱されているテキストファイルにインストール方法などが記されています。 Download Hypertable 実際のテスト結果などは以下に書いてあります。 PerformanceTestAO
» 第 1 回 Slony-I を使用したシステム構築 – 大規模参照ソリューション | PowerGres
このページに記載の情報は、2005 年にリリースした PowerGres Plus V2 を対象としています。PowerGres Plus V2 の販売はすでに終了しています。 PowerGres Plus の最新バージョンに関する情報は、製品紹介ページまたは PowerGres 体験記ページを参照してください。 最近では、小規模で始めた事業が、ヒット商品の出現やメディアで紹介されることで、一気に流行し、インターネット上でのアクセスが数十倍に増えることもめずらしくありません。 そのような場合、その企業は、迅速、かつ簡単にシステムを増設しなくて はなりません。 Slony-I はチェーン方式と呼ばれる方式により、システムを簡単に増設できるレプリケーションソフトウェアです。 PowerGres Plus では、Slony-I を利用して、大規模なデータ参照を行うシステムを簡単に構築することがで
グーグル、無限への挑戦：日経ビジネスオンライン
気になる記事をスクラップできます。保存した記事は、マイページでスマホ、タブレットからでもご確認頂けます。※会員限定 無料会員登録 詳細 ｜ ログイン Stephen Baker （BusinessWeek誌シニアライター、ニューヨーク） 米国時間2007年12月13日更新 「Google and the Wisdom of Clouds」 「データ量が今の1000倍になったとしたら、君ならどうする？」 この質問をされると、それまで自信満々で入社面接に臨んでいた若者はしどろもどろになってしまう。 今や超難関、米グーグル（GOOG）の採用面接でのひとコマである。質問を投げかけるのは、上級ソフトウエアエンジニアのクリストフ・ビシグリア氏（27歳）。ほっそりとした体格と、ウエーブのかかった長髪のビシグリア氏が試しているのは、目の前にいる大学生が「グーグラー（グーグル社員）」流の発想法について来られ
カイハツニッキ(2007-12-13)
_ [ソフトウェア] Flaredにおけるノード決定アルゴリズム ということでまたしてもFlaredの話です。他にもあれこれ書きたいネタはあるんですが、当面Flaredネタでひっぱっちゃおうかな、なんて思っていたりいなかったり。で、Flaredのノード決定アルゴリズムです。と書くと大げさですが、実際何もしてないです。とはいえ全く何も考えなかった訳ではないのです...という言い訳をしてみようかなーと思ったわけです。 そもそも、key-value型の(つまりvalueでの検索がない極めて単純な)分散ストレージサーバというものを考えてみると、理想的な要件としては ノードを足せば勝手にデータが分散されてディスク領域が空く ノードを足せば勝手にアクセスが分散されて負荷が下がる(しかも各ノードの負荷がほぼ等しい) ノードがいくつかなくなってもデータが失われない といったところがあると思います。こんなの
DSAS開発者の部屋:KLab勉強会#3の資料を公開します
11/2に開催した、第3回KLab勉強会の資料と音声を公開します。 『DSASのここんとこ - ネットワークブート編』 〜 安井 真伸 (KLab株式会社) 発表資料 (PDF, 302 KB) 音声 (MP3, 39592 KB) 『Erlang による高可用システムの構築』 〜 濱野 司 (KLab株式会社) 発表資料 (PDF, 148 KB) 音声 (MP3, 30,202 KB) たくさんの方にお越しいただきありがとうございました。 おかげさまで、懇親会も含め盛況のうちに終わり、とても楽しい時間を過ごすことができました。 このまま、第4回、第5回と続けていければいいなあと思っています。 勉強会の内容や参加募集など、決まり次第このブログでアナウンスしますので、今後も購読していただければと思います。
サン、コンテナ型のデータセンター「Project Blackbox」を国内初公開
11月12日 公開 サン・マイクロシステムズ株式会社は12日、コンテナ型のデータセンター「Project Blackbox」(コードネーム、以下Blackbox)を初めて国内で公開した。 Blackboxは2006年10月にコンセプトを発表した、世界初のコンテナ型データセンターで、ISO標準の20フィート輸送用コンテナ(8×20×8.5フィート、約2.5×6.1×2.6m(幅×奥行き×高さ))に、電源配給システムや水冷却システム、19インチラック×8を内蔵した。 最大の特徴は、汎用コンテナを採用することで、従来のデータセンターの設計から建築、設計までの工期に比べて約10分の1の工期で実装可能な点。コンテナ外装に電源入力と冷却水接続用口、ネットワークポートを持っており、外部からの電源/冷却水供給およびネットワークを接続すれば稼働する。 内部に分電盤と水冷却用ラジエータやファン、エアフィルタを
KLab勉強会#3 のご案内 : DSAS開発者の部屋
第3回 KLab勉強会のお知らせです。 今回も、前回（DSASのあそこ - ストレージサーバ編）に引き続き、DSASのとある構成要素について深めに濃いめにしゃべりたいと思います。 また、最近注目しているErlangについて、その魅力や特徴をご紹介したいと思います。 開催要項 日時 2007/11/02 (金) 19:00-20:00 (18:30受付開始) 場所 KLab株式会社 第3会議室 東京都港区六本木6-10-1 六本木ヒルズ森タワー20F 参加費 無料 人数 30名程度 (定員になり次第、参加登録を締め切らせていただきます) ※終了後に懇親会(会費制)を予定しています セッション タイトル 『DSASのここんとこ - ネットワークブート編』 講師 安井 真伸 (KLab株式会社) 概要 DSASではネットワークブートを利用したサーバが数多く動いています。しかし、一言で「ネットワー
DSAS開発者の部屋:特集記事『Linuxロードバランサ構築・運用ノウハウ』を公開します
『Linuxロードバランサ構築・運用ノウハウ』を公開します！ これはWEB+DB PRESS Vol.37の特集記事としてDSASチームが執筆したもので、技術評論社様の許可を得て今回公開するはこびとなりました。 一口でいうと、「Linux＋IPVS＋keepalivedを使って、冗長構成(Active/Backup)のロードバランサを作るまで」の解説記事で、 サーバ負荷分散一般についてのはなし Linuxでロードバランサを作ってみる ロードバランサを冗長化 といった構成になっています。 みなさんがLinuxロードバランサを導入・構築・運用する際の一助になれば、DSASチームとしてもうれしい限りですので、是非、ご覧になってください！ 第1章 サーバ負荷分散概論 特集のはじめに なぜサーバ負荷分散をするのか？ サーバ負荷分散の実現方法 ロードバランサのいる構成 ロードバランサはなにを元に分散す
Scaling Twitter: Making Twitter 10000 Percent Faster - High Scalability -
Update 6: Some interesting changes from Twitter's Evan Weaver: everything in RAM now, database is a backup; peaks at 300 tweets/second; every tweet followed by average 126 people; vector cache of tweet IDs; row cache; fragment cache; page cache; keep separate caches; GC makes Ruby optimization resistant so went with Scala; Thrift and HTTP are used internally; 100s internal requests for every exter
Don'tStopMusic - DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる , るびま 21 号
_ [ソフトウェア] DB分散の次は非同期処理がウェブアプリのスケーリングのトレンドになる サイボウズも memcached + MySQL DB 分散 Cybozu Developer Network: MySQL Users Conference Japan 2007 講演概要 を読んで、memcached でキャッシュ＆ 複数の MySQL をアプリのロジックで分散化というのは、もうすっかりスケーラブルなウェブアプリの作り方として常套手段になったと思いました。 2004 年 4 月の MySQL カンファレンスでの Brad Fitzpatrick の発表 Inside LiveJournal's Backend (PDF)から約 3 年半。Mixi やはてなのようなエッジな企業はだいぶ前からこの構成を採用してますが、対法人のビジネスをしているサイボウズでも採用されたというのは一つ
仙石浩明の日記: NFS と AUFS (Another Unionfs) を使って、ディスクレス (diskless) サーバ群からなる低コスト・高可用な大規模負荷分散システムを構築する
ディスクレス (diskless) サーバを多数運用しようとしたときネックとなるのが、 NAS (Network Attached Storage) サーバの性能。 多数のディスクレスサーバを賄え、かつ高信頼な NAS サーバとなると、 どうしても高価なものになりがちであり、 NAS サーバ本体の価格もさることながら、 ディスクが壊れたときの交換体制などの保守運用費用も高くつく。 それでも、多数のハードディスク内蔵サーバ (つまり一般的なサーバ) を 運用して各サーバのディスクを日々交換し続ける (運用台数が多くなると、 毎週のようにどこかのディスクが壊れると言っても過言ではない) よりは、 ディスクを一ヶ所の NAS にまとめたほうがまだ安い、 というわけで NAS/SAN へのシフトは今後も進むだろう。 そもそも CPU やメモリなどとハードディスクとでは、 故障率のケタが違うのだから
ウノウラボ Unoh Labs: DRBDによるコンテンツの相互バックアップ
こんにちは satoです。 DRBDは誤解を恐れないで、簡単に言ってしまうと、ネットワーク越しにRAID1を構築できるオープンソースのソフトウェアです。 DRBDには以下の特徴があります。 ・カーネルモジュールで動作し、有償でサポートが受けられます ・電源等が壊れても、ソフトウェアRAIDやPICカード型のRAIDと違ってサービスを続けることができます ・heartbeat等と組み合わせて、HAなシステムを構築できます ・secondary(slave、待機系)はマウントすることができません。 DRBDの設定から使用までを簡単に解説しようと思います。また待機系が必要なのですが、待機だけではもったいないので、相互に違う領域をバックアップ(s1のsda3のバックアップ先は s2のsda3、s2のsda4のバックアップ先はs1のsda4)をしてみました。 構成 s1.unoh.n
Six Apart - Tech Talk Blog: MogileFS::Client と MogileFS 内部でのファイルノード管理
酒井です。今回は MogileFS の Client API について簡単に紹介したいと思います。また、MogileFS 内でのファイルのノード管理方法についても少し触れてみたいと思います。 MogileFS::Client で利用できる機能 MogileFS::Client モジュールが Perl の Client API ライブラリです。PHP や Java を利用した Client API ライブラリもあるようですが、配布物に含まれているのは Perl の API のみです。 現在の最新バージョン（revesion 421）では以下のメソッドが利用可能です。 コンストラクタ new({ host, domain, timeout }) tracker の IPアドレス/ポート番号 (host)と、MogileFS の domain を指定し、インスタンスを生成します。 ファイル操作系
Six Apart - Tech Talk Blog: MogileFS のインストールと初期設定
酒井です。タイトルの通り、今回は MogileFS のインストールから初期設定までをずらずらと紹介します。 MogileFS では各コンポーネントごとに別サーバーを割り当てるのが通常ですが、実際には1台ですべてのコンポーネントを稼動させることができますので、colinux などの環境で手軽に実験することが可能です。今回使用した環境は、 Debian/sid (colinux) perl 5.8.8 MySQL 5.0 (non cluster) です。 また、使用する MogileFS のバージョンは、現時点では開発中ですがもうすぐリリースとなる（はずの）バージョン 2.0 を SVN リポジトリ の trunk からチェックアウトして使用します（revision 421 をインストールしました）。 リポジトリURL http://code.sixapart.com/svn/mogilef
Six Apart - Tech Talk Blog: 分散ファイルシステム MogileFS について
初登場になります、酒井といいます。 今回は Six Apart のサービスで使われている MogileFS というファイルシステムを紹介したいと思います。MogileFS については、日本語の情報はあまり…、というかほとんどない状況ですので参考にしていただければと思います。では早速。。。 MogileFS とは MogileFS とは、Perl で記述されているオープンソースな分散ファイルシステムです。 プロジェクトホームページ http://www.danga.com/mogilefs/ メーリングリスト http://lists.danga.com/mailman/listinfo/mogilefs 上記のホームページ内でも紹介されていますが、主に以下のような特徴があります。 アプリケーションレベルでの実装なので特殊なカーネルモジュールいらず。 ファイルを複数ホストに自動コピー / バ
CodeZine：DeNAの人気サイトに学ぶ LAMPによるWeb-DBシステム構築/運用の極意（前編）（モバオク, モバゲー）
シングルマスタの非同期レプリケーション機能では、マスタサーバーが1台に限定され、マスタからスレーブへの複製は非同期で行なわれるため遅延が生じ、短時間のスケールで見ると全スレーブとの同期が保証されない。しかし、その反面スレーブの台数を増加させていってもマスタサーバーの更新負荷は大きくならず、スケーラビリティを維持できるという利点がある。DeNAによる運用実績でも、マスタとスレーブ間の遅延は通常数秒程度以内に収まる。 このレプリケーションを利用する場合、アプリケーション側ではデータ更新時にはマスタサーバーへ接続し、データ参照のみを行なう場合はスレーブサーバーへ接続するように作成する必要がある。 Webや携帯電話向けサービスの場合、小さな規模で始めてユーザー規模、データ規模、ページビュー数を徐々に増加させていくことが多い。小さな規模のためDBの負荷分散が不要な場合でも、マスタサーバー1台、スレー
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Nutrition | ProGains Foundry
GREE Engineering
