Key Value Store勉強会に行ってきました by kumofsのひと - Blog by Sadayuki Furuhashi

※分散Key-Valueストア「kumofs」を公開しました！ 先日開催されたKey Value Store勉強会に行ってきました。私の発表資料は↓ここからダウンロードできます。 kvs-kumofs.pdf 合わせて読むと理解が深まるかもしれない： スマートな分散で快適キャッシュライフ - mixi Engineer's Blog：Consistent Hashについて バイナリシリアライズ形式「MessagePack」：kumofsのプロトコル。高速なストリームバッファとストリームデシリアライザの実装も含まれています。 Protocol Buffersは遅い：MessagePackのベンチマークとProtocol Buffersとの比較。タイトルは釣り。 memstored：IOアーキテクチャのプロトタイピング マルチコア時代の高並列性IOアーキテクチャ Wavy memcached

[Chisei]

developer summit 2010のセッションに参加する

[wakaspec]

分散ストレージ

[rawwell]

"key-valueストレージで目立ったボトルネックになるのはHDDのシーク速度ですが、それもSSDの登場によってケタ違いに性能が向上しようとしつつある + メモリ格安時代でオンメモリで大量にキャッシュできるために、従来なら

[ZIGOROu]

今紡がれる一本の糸！

[kgbu]

現在のhardware構成+serialな処理でenough、もしくは別の場所がボトルネックというケースってのは確かにあると思う。そうでない領域も。

[ita-wasa]

個人的に予想しているのはEthernet+ソフトウェアTCP/IPに代わる超低遅延ネットワーク。CPUやSSDの性能向上が頭打ちになる一方で、通信のオーバーヘッドが極端に低下することによって分散システムの設計がマルチスレッドプログラミング並の常識になり、スケールアウトすることで処理性能が飛躍的に向上する。その結果分散ストレージに求められる性能が増大する、とか！ キーワードは10GbE、TOE、PCI-Express External Cabling、RDMA、SDPなど。

[TAKESAKO]

>【Key Value Store勉強会で印象的だったのが、平林さんの「ハードウェアの性能が良くなってサーバー1台でも大量のリクエストを捌けるから分散しなくても大丈夫」という（ように私が理解した趣旨の）一言でした。】

[proto_jp]

個人的に予想しているのはEthernet+ソフトウェアTCP/IPに代わる超低遅延ネットワーク。CPUやSSDの性能向上が頭打ちになる一方で、通信のオーバーヘッドが極端に低下することによって分散システムの設計がマルチスレッドプロ

[yohei]

kumofsのfsはfile systemではなくfast storageだった

[mogwaing]

そして分散は要らなくなった 〜 デュアルマスタ or master-slave+障害時昇格 でレプリケーションする感じで。単純で速いし、実装楽だし、運用楽だし、性能十分だし、それが現状の回答だよねってなりそう。

[kuenishi]

manager がいる hybrid p2p