Sheepdog Project
Overview Sheepdog is a distributed storage system for KVM. It provides highly available block level storage volumes that can be attached to KVM virtual machines. Sheepdog supports advanced volume management features such as snapshot, cloning, and thin provisioning. sheep is a disk I/O management process, dog is a cluster management process, and KVM is patched virtual machine monitor
マルチコア時代に備えて本気でメモリモデルを理解しておこう - リオーダー & finalフィールド 編 - - かとじゅんの技術日誌
長い文章になってしまったので、概要だけ先に書きます。 以下のJavaプログラムは、常に上から下に順番に命令が実行されると思いますか？つまり、aに1が格納された後に、bに2が格納されると思いますか？ 実は場合によってはこの実行順序が入れ替わる場合があります。これはJavaの言語仕様として定義されていることです。これを考慮しないと信頼性のある並行処理は実装できません。 気になる人は以下を読んでみてください。 a = 1; b = 2; すでにインターネットは社会インフラ化しています。ソーシャルネットワークで多くの人とコミュケーションやコラボレーションできる時代で、個人が情報を作り消費することは当たり前になってきています。そして、インターネット上のコンテンツは増加の一途を辿っています。「情報爆発」なんて言葉も耳慣れた言葉になりましたが、その問題解決のためにMapReduceなどの分散処理技術に注
KVSアルファテストサービスシステム構成について
マルチテナント化の実現 2010/9/27現在で、12ユーザのFlareインスタンス(テスト用も含む)がこの6台上で稼動しています。 同一のサーバ上で複数のユーザを収容するためには、データの分離やアクセス制御を適切に行う必要があります。これには、以前ご紹介したポート番号を分けて複数デーモンを起動する方式と、お客様に提供するポート番号毎に接続元のIPアドレスを制限する方式を組み合わせることで実現しています。詳しくは以下のブログをご覧ください。 ▽ Flareを使う(マルチテナント化編) https://research.sakura.ad.jp/2010/08/10/flare-multi/ Flareの設定 Flareのインデックスサーバ、ストレージサーバはそれぞれ以下のような設定を行っています。 インデックスサーバの設定例(flarei.conf) data-dir = /home/fl
近未来的並列 LL @mootoh @mootoh 高山 征大 並歴 5年 最近は 研究者 : エンジニア = 7:3 http://deadbeaf.org 個人の意見、見解です Molatomium CELL REGZA 並カン http://bit.ly/namikan はじめに mootoh 並列プログラミ
近未来的並列 LL @mootoh @mootoh 高山 征大 並歴 5年 最近は 研究者 : エンジニア = 7:3 http://deadbeaf.org 個人の意見、見解です Molatomium CELL REGZA 並カン http://bit.ly/namikan はじめに mootoh 並列プログラミングの入門＆おさらい的な話 wraith13 ローレイヤーでの並列処理の設計 goyoki STM hayamiz 並列 HPU 言語 MUDA syoyo マルチコア時代の Lock-free 入門 yamasa Haskell 周り shelarcy その他 ??? 目的だったもの •研究者だけじゃなくて •ふつうのエンジニアも並列処理を 目的だったもの •研究者だけじゃなくて •ふつうのエンジニアも並列処理を 100人! 目的だったもの •研究者だけじゃなくて •ふつうの
TwitterがBitTorrentで高速にデプロイしている仕組みについて
Twitterは、同社の何千台ものサーバに対してバイナリをデプロイする場合に、ピア・ツー・ピアシステムのBitTorrentを利用したツール「Murder」を用いていると、7月1日の記事「Twitterの大規模システム運用技術、あるいはクジラの腹の中（後編）～Twitterのサブシステム「Unicorn」「Kestrel」「Flock DB」」で紹介しました。 FacebookでもBitTorrentによる大規模なデプロイが高速に行われていることは、7月16日の記事「Facebook、memcachedに300TB以上のライブデータを置く大規模運用の内側」で紹介しました。 どうやら大規模システムにおけるデプロイではBitTorrentの利用が進んでいるようです。 7月15日付けのTwitter Engineering Blogに、Twitterのエンジニア、Larry Gadea氏による「
Amazon EC2からWebサービスへの大規模なアクセス負荷試験を行う方法（JMeter in the Cloudを使用）
初期投資を抑えつつサーバインフラを手軽に拡大/縮小できる、いわゆるクラウドサービスが人気みたいです。Amazon EC2 みたいなやつ。聞くところによると、ソーシャルアプリなどは、アクセス規模とかユーザの増加傾向が見積りにくいようで、そういうところで利用が進んでいるらしいです。 ところで、そういったサービスは、何もサービスを受け付ける側を作るのに使うだけでなく、（負荷試験やパフォーマンスチューニングのための）Web アクセス負荷を大量に発生させるインフラとしても使えるんでないかなあと思っていたら、やっぱりそういうモノがありました。JMeter in the Cloud という AMI (Amazon Machine Image) です。 JMeter In The Cloud – A cloud based load testing environment 元々 JMeter では、複数の
分散Key-Valueストア「kumofs」を公開しました！ - Blog by Sadayuki Furuhashi
分散Key-Valueストア kumofs を、本日オープンソースソフトウェアとしてリリースしました！ kumofs@SourceForge kumofs関連資料まとめ kumofsとは？ kumofs（クモエフエス）は、実用性を重視した分散データストアです。レプリケーション機能を備え、一部のサーバーに障害が発生しても動作し続けます。単体でも高い性能を持ちながら、サーバーを追加することで読み・書き両方の性能が向上する特徴を持ち、低コストで極めて高速なストレージシステムを構築・運用できます。 kumofsの大きな特徴は、システムの構成の簡単に変更できる点です。システムを止めることなく、簡単な手順でサーバーを追加したり復旧したりできます。アプリケーションには一切影響を与えません。 またkumofsは、広く利用されている分散キャッシュシステムの「memcached」と互換性のあるプロトコルを実装
Jeff Dean: Design Lessons and Advice from Building Large Scale Distributed Systems – Perspectives
Disclaimer: The opinions expressed here are my own and do not necessarily represent those of current or past employers. Recent CommentsMatt on Seagate HAMRJames Hamilton on Seagate HAMRMatt on Seagate HAMRJames Hamilton on Cost of Power in Large-Scale Data CentersChris K. on Cost of Power in Large-Scale Data CentersJames Hamilton on Cost of Power in Large-Scale Data CentersRob F on Cost of Power i
A Clever Way to Scale-out a Web Application
This document describes techniques for scaling out a web application across multiple database shards. It introduces Incline, which handles denormalization and data replication between shards transparently using triggers and queue tables. It also discusses Pacific utilities like mysqld_jumpstart for provisioning MySQL instances and pacific_divide for splitting shards without downtime. Incline addre
Overlay Weaver: An Overlay Construction Toolkit
Overlay Weaver はオーバレイ構築ツールキットです。 アプリケーション開発に加えて、 オーバレイのアルゴリズム設計もサポートします。 アプリケーション開発者に対しては、 分散ハッシュ表 (DHT) やマルチキャストといった高レベルサービスに対する 共通 API を提供します。 この API を用いることで、 特定のトランスポートプロトコル、データベース、ルーティングアルゴリズム に依存しないアプリケーションを開発できます。 Overlay Weaver は、 ルーティングアルゴリズムとして Chord、Kademlia、Koorde、Pastry、Tapestry、FRT-Chord の実装を提供しています。 ルーティング層の分割によって、 これらのアルゴリズムをたかだか数百ステップで実装することが可能となりました。 ルーティング層は高レベルサービスの下位に位置し、 ルーティン
blog.katsuma.tv
前回、JavaScriptでMap Reduceのコードが書けるHadoop Streamingについて紹介しました。 標準入出力さえサポートされてあれば、任意のコードでMap Reduuceの処理が書ける、というものでしたが、エンジニアはそもそも面倒くさがり。コードも書くのも面倒です。 と、いうわけで、今回はもうコードすら書かずにSQLライクでMap ReduceできるHiveというプロダクトについて、まとめたいと思います。 Hive Hiveとは、簡単に言うとHadoop上で動作するRDBのようなものです。 HDFSなどの分散ファイルシステム上に存在するデータに対して、HiveQLというSQLライクな言語で操作できます。 で、面白いのがHiveQLの操作は基本的にMap Reduceのラッパーになっていること。 要するに、SELECT文実行すると裏でMap&Reduceのタスクが走り出
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
http://fluentd.org/doc/
Hadoopのマルチコア実行におけるスレッド集約スケジューリングの効果 | CiNii Research