本当は恐ろしい分散システムの話分散システムのFault Injectionの話 NTTデータテクノロジーカンファレンス2017で発表する際に用いたプレゼン資料 https://oss.nttdata.com/hadoop/event/201710/index.html Read less
P: A programming language designed for asynchrony, fault-tolerance and uncertainty - Microsoft Research
The programming model in P is based on concurrently executing state machines communicating via events, with each event accompanied by a typed payload value. A memory management system based on linear typing and unique pointers provides safe memory management and data-race-free concurrent execution. In this respect, P is similar to modern systems programming languages such as Rust (opens in new tab
Drawing a map of distributed data systems — Martin Kleppmann’s blog
Published by Martin Kleppmann on 15 Mar 2017. How we created an illustrated guide to help you find your way through the data landscape. Designing Data-Intensive Applications, the book I’ve been working on for four years, is finally finished, and should be available in your favorite bookstore in the next week or two. An incomplete beta (Early Release) edition has been available for the last 2½ year
普通の人でもわかる Paxos
4. 登場人物 • クライアント – プロポーザに、書き込みをお願いする人 – 登場人物といっておきながら、話はプロポーザが値を 持ってから始めればいいので、以下登場しません。 • プロポーザ – アクセプタの過半数に同じ値を書き込むよう頑張る • アクセプタ – プロポーザから来た値をよきにはからう（後述） • リスナ – 最後に、過半数のアクセプタから値をゲット。
ブロックチェーンの「合意」の意味を、我々は合意できているのか？（下）：宮澤 慎一=セコムIS研究所 - 日経FinTech - ITpro
前回は、これまで研究されてきた分散システムにおける「合意」とビットコインの「合意」の意味を比較しながら、ビットコインにおける「合意」の意味にいくつかの解釈の余地があることを説明した。 今回は最初に、「ビットコインが初めて問題を解決した」「いや解決していない」などと議論を呼んだ分散システムの難題、「ビザンチン将軍問題」を紹介する。 次に、ビザンチン将軍問題が、ビットコインのようなP2Pシステムにとってどのような意味があるのか、過去の研究からビットコインに関係する論文として「The Sybil Attack」と「Exposing Computationally-Challenged Byzantine Imporstors」を紹介する。 そして最後に、ビザンチン障害に耐性があるシステムを作れたとしても、プログラム（アルゴリズム）の正しさだけに依存してシステムを運営・維持することには限界があり、
ブロックチェーンの「合意」の意味を、我々は合意できているのか？（上）
ブロックチェーンについて議論がなされるとき、「合意」という言葉がひんぱんに使われる。 たとえばブロックチェーンの機能について、データの正当性を複数のコンピュータが「合意」することで、中央機関に頼らずデータを共有する仕組みだ…などと説明されることがある。 では、ここでいう「合意」とは、そもそも何を指す言葉なのだろうか？ この言葉は「両社は協業することに合意いたしました」など、私たちの日常でも多く使われている言葉である。日常的に使われている「合意」をイメージしたまま、ブロックチェーンの議論をしてしまうと、ブロックチェーンの仕組みについてうまく議論できない。 これに加え、分散システムの学術界/産業界では30年以上前から、分散された複数のコンピュータの間で何らかの合意を形成する「合意問題」という課題に取り組んできた。実際に合意問題を解決するアルゴリズムやプログラムも登場している。 この分散システム
NoSQLデータベース：調査と決定のガイダンス（その1） | POSTD
(訳注：2016/10/1、頂きましたフィードバックを元に記事を修正いたしました。) 先月、ハンブルク大学の同僚たちと一緒に SummerSOC 2016 でNoSQLの状況についての講演をしました。メンバーは、 Felix Gessert 、 Wolfram Wingerath 、 Steffen Friedrich 、 Norbert Ritter でした。今回はその講演の要点を記事にまとめました。 Baqend を設立して集めた、私たちのNoSQLの濃厚な知識が皆さんに伝われば幸いです。 要約 現在、データはかつてない規模で生み出され、消費されています。増え続けるデータ量とリクエスト負荷に対応するために、「NoSQL」データベースシステムという用語で包括されるスケーラブルなデータマネジメントの新しい方法が産み出されてきました。しかし、数多く存在するシステムは、不均一で多様性があるので
Introducing DGit
EngineeringIntroducing DGitEdit: DGit is now called Spokes GitHub hosts over 35 million repositories and over 30 million Gists on hundreds of servers. Over the past year, we've built DGit, a new… Edit: DGit is now called Spokes GitHub hosts over 35 million repositories and over 30 million Gists on hundreds of servers. Over the past year, we’ve built DGit, a new distributed storage system that dram
Guide to Reliable Distributed Systems
Describes the key concepts, principles and implementation options for creating high-assurance cloud computing solutions Written in a clear, easy-to-understand style, with concrete examples drawn from real-world settings Includes more than 80 problems at varying levels of difficulty Includes supplementary material: sn.pub/extras
Performance Tuning Apache Storm at Keen IO - High Scalability -
Hi, I'm Manu Mahajan and I'm a software engineer with Keen IO's Platform team. Over the past year I've focused on improving our query performance and scalability. I wanted to share some things we've learned from this experience in a series of posts. Today, I'll describe how we're working to guarantee consistent performance in a multi-tenant environment built on top of Apache Storm. tl;dr we were a
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散システムについて語らせてくれ
decode17
Redundancy does not imply fault tolerance: analysis of distributed storage reactions to single errors and corruptions | the morning paper
Distributed Stream Quality of Life Improvements
http://i-satoh.sakura.ne.jp/download/presentation/QCON20161024-Satoh.pdf
Akka Clusterの耐障害設計
Lightweight Asynchronous Snapshots for Distributed Dataflows
GitHub - linkedin/ambry: Distributed object store
GitHub - twitter-archive/distributedlog: A high performance replicated log service. (The development is moved to Apache Incubator)
Cockroach Labs, the company building CockroachDB
