Distributed Systems Reading List
Introduction I often argue that the toughest thing about distributed systems is changing the way you think. The below is a collection of material I've found useful for motivating these changes. Thought Provokers Ramblings that make you think about the way you design. Not everything can be solved with big servers, databases and transactions. Harvest, Yield and Scalable Tolerant Systems - Real world
分散システムについて語るときに我々の語ること ― 分散システムにまつわる重要な概念について | POSTD
分散システムについては、もう随分と前から学びたいと思っていました。ただ、それは一度首を突っ込んだら最後、ゴールのない迷路に迷い込むようなものなのです。どこまでも続いているウサギの穴のようなものです。分散システムに関する文献は星の数ほど存在します。様々な大学からたくさんの論文が発表されているばかりでなく、膨大な数の書籍もあるのです。私のような全くの初心者には、どの論文を読んだらいいのか、どの書籍を買ったらいいのか、見当もつきません。 そんなとき、一部のブロガーが、 分散システムエンジニア （それがどういう意味であれ）になるなら知っておくべき論文というものを推奨しているのを見つけました。その一部を紹介しましょう。 FLP , Zab , Time, Clocks and the Ordering of Events in a Distributed Systems , Viewstamped
普通の人でもわかる Paxos
4. 登場人物 • クライアント – プロポーザに、書き込みをお願いする人 – 登場人物といっておきながら、話はプロポーザが値を 持ってから始めればいいので、以下登場しません。 • プロポーザ – アクセプタの過半数に同じ値を書き込むよう頑張る • アクセプタ – プロポーザから来た値をよきにはからう（後述） • リスナ – 最後に、過半数のアクセプタから値をゲット。
コンセンサスアルゴリズムの比較メモ · JoeMPhilips
元々Bitcoinで使われたいたProof of Work(PoW)は色々と問題があった。[^1] 専用のハードウェアが有利すぎるためマイナーの集中を招く アルトチェーンが普及すると、それらのマイニングパワーを一つのチェーンに一時的に集めることで容易に51%攻撃が行えるようになる。 手数料はマイニングノードが持っていくため、P2Pノードを立ち上げるモチベーションがない この記事を書いた当初はこれらは大きな問題だと考えていたが、現在の意見は少し違う。 1は「集中化」の意味が3つあってややこしいのだが、a) 物理的な集中、は大きな問題ではない。b) マイニングする「主体」の集中は不可知なので議論の対象にならない。 3) 固定費用の増額は「マイニングが自由市場から遠ざかる」という意味で長い目で見れば問題である可能性が高い。 したがってBTCはコンソーシアムチェーンのような方式（PoSではない！）
一人トランザクション技術のカレンダー | Advent Calendar 2016 - Qiita
About reserved postingIf you register a secret article by the day before the same day, it will be automatically published around 7:00 on the same day. About posting periodOnly articles submitted after November 1 of the year can be registered. (Secret articles can be registered anytime articles are posted.)
分散システムにおける異常検出とスゲぇ HeartBeat についてのまとめ
はじめに# coursera でとっている Cloud Computing Concepts で Gossip-Style HeartBeat というものが出てきたので詳しく調べてみた. Cloud Computing Concepts 以前の仕事について# 以前の仕事は異常監視。 信頼性を確保するために, 部品は冗長化されている. 最大で, 8 ノードの部品が互いを監視しあうような構成. あるの部品が故障した場合に, 別の部品で異常を検出して, その部品を部分的に停止するような機能. 監視のロジックは単純で, 定期的に相手と通信して, 通信タイムアウトが多発したら異常と判断する. 異常検出はそれがすべてと思っていた. しかし, 実際はずっと奥が深かったのだった. ということ. 以下, 詳しく. Failure Detector# 分散システムのノードの中で, 異常検出を担うものを Fai
Vector clock - Wikipedia
A vector clock is a data structure used for determining the partial ordering of events in a distributed system and detecting causality violations. Just as in Lamport timestamps, inter-process messages contain the state of the sending process's logical clock. A vector clock of a system of N processes is an array/vector of N logical clocks, one clock per process; a local "largest possible values" co
Algorithmic Improvements for Fast Concurrent Cuckoo Hashing - cuckoo-eurosys14.pdf
Algorithmic Improvements for Fast Concurrent Cuckoo Hashing Xiaozhou Li1, David G. Andersen2, Michael Kaminsky3, Michael J. Freedman1 1Princeton University, 2Carnegie Mellon University, 3Intel Labs Abstract Fast concurrent hash tables are an increasingly important building block as we scale systems to greater numbers of cores and threads. This paper presents the design, implementation, and evalua
Scalable Atomic Visibility with RAMP Transactions
Scalable Atomic Visibility with RAMP Transactions Peter Bailis, Alan Fekete†, Ali Ghodsi, Joseph M. Hellerstein, Ion Stoica UC Berkeley and †University of Sydney ABSTRACT Databases can provide scalability by partitioning data across several servers. However, multi-partition, multi-operation transactional ac- cess is often expensive, employing coordination-intensive locking, validation, or scheduli
ZooKeeper vs. Doozer vs. Etcd | devo.ps
Juha Suomalainen on September 11, 2013 While devo.ps is fast approaching a public release, the team has been dealing with an increasingly complex infrastructure. We more recently faced an interesting issue; how do you share configuration across a cluster of servers? More importantly, how do you do so in a resilient, secure, easily deployable and speedy fashion? That's what got us to evaluate some
Scality is Storage for Digital Business
World Leader in Object and Cloud Storage Proven with 500 Million Users and 1 Trillion Objects Enterprise IT Today’s enterprise IT departments are under constant pressure to meet insatiable digital business needs and Scality is here to help with the most scalable, durable and cost effective solution to meet your storage needs. Visit the Solutions Page Cloud Service Providers Scality understands the
Readings in distributed systems
This post is a work in progress. Inspired by a recent purchase of the Red Book, which provides a curated list of important papers around database systems, I’ve decided to begin assembling a list of important papers in distributed systems. Similar to the Red Book, I’ve broken each group of papers out into a series of categories, each highlighting a progression of related ideas over time focused in
Notes On Concurrent Ring Buffer Queue Mechanics
{This post is part of a long running series on lock free queues, checkout the full index to get more context here} Having recently implemented an MPMC queue for JAQ (my concurrent queue collection) I have been bitten several times by the quirks of the underlying data structure and it's behaviour. This is an attempt at capturing some of the lessons learnt. I call these aspects or observations 'mech
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
GitHub - heathermiller/dist-prog-book
decode17
Consensus on Transaction Commit | the morning paper
Private Presentation
Raft
Tendermint (コンセンサス・アルゴリズム)まとめ - Qiita
Concurrency Control and Recovery in Database Systems - Microsoft Research
