Metastable Failures in Distributed Systems – Aleksey Charapko
Metastability is a stable state of a dynamical system other than the system’s state of least energy. – Wikipedia Distributed systems often fail spectacularly and unpredictably. They are a cause for a headache and sleepless on-call nights for way too many engineers. And this is despite lots of efforts to understand the failures, and all the tools and “best practices” we have to contain and/or preve
分散トレーシング技術について（Open tracingやjaeger）
勉強会で分散トレーシング技術について調査した内容を発表した資料です。OpenTracingやJaegerなどについてのざっくりとした解説などを行っています。Read less
分散ロックという名の過ち - Software Transactional Memo
 TL;DR; 「分散ロック」が分散システムの設計図に登場した時 だいたいその設計は間違っていて本当に必要なものはトランザクションだ 並行システムを実装する際にロックを用いるのはとても自然なことだ。 僕も普段はロックフリー系のアルゴリズムに詳しいと言われがちだが知識量でいったら実はロック系の方が多く蓄えているかも知れない。 分散システムは並行システムであることが多いので、その中にロックが登場するのはとても自然な発想である。 よく「分散」「並行」「並列」の言葉の定義がごっちゃになっているケースがあり、この記事の主題にしたいわけではないので深くは言及しないが、分散システムは環境などの要因で突如として参加者が音信不通になったり復活したりする点で並行システムと大きく異なる。 並行システムと同じノリで分散システムを設計しようとした際に陥る頻出の過ちが「分散ロック」である。そのアイデアはとても簡単で
Locust.io
An open source load testing tool. Define user behaviour with Python code, and swarm your system with millions of simultaneous users. Tweet Follow @locustio Define user behaviour in code No need for clunky UIs or bloated XML. Just plain code. Distributed & scalable Locust supports running load tests distributed over multiple machines, and can therefore be used to simulate millions of simultaneous u
Publishing with Apache Kafka at The New York Times | Confluent
At The New York Times we have a number of different systems that are used for producing content. We have several Content Management Systems, and we use third-party data and wire stories. Furthermore, given 161 years of journalism and 21 years of publishing content online, we have huge archives of content that still need to be available online, that need to be searchable, and that generally need to
新しいRPCフレームワーク、gRPCをGoで試してみる。
みなさん、今年の2月末にGoogleが発表したgRPCをご存知でしょうか？gRPCとは、こちらも今年の5月にRFCとして公開されたばかりのHTTP/2を標準でサポートした新しいRPCフレームワークであり、効率的で拡張性の高いAPIや最近流行のマイクロサービスの作成をサポートします。本記事では、Goでのサンプルアプリケーションの作成を通してこのgRPCの通信を試してみようと思います。 gRPCの概要 図1.gRPCの全体像(http://www.grpc.io/docs/より転載) gRPCのサーバーとクライアントはお互いに様々な環境（Google内部のサーバーから、各自のデスクトップ環境まで）で通信でき、gRPCがサポートしている言語（C++, Java, Go, Python, Ruby, Node.js, Android Java, C#, Objective-C, PHP）で書くこと
Manhattan software deployments: how we deploy Twitter’s large scale
Insights Manhattan software deployments: how we deploy Twitter’s large scale Twitter’s Manhattan distributed database is one of the primary data stores at Twitter, serving Tweets, Direct Messages, and advertisements, among other use cases. We want to share the challenges of handling Manhattan software deployments and our approach to solving them. The Manhattan service runs on clusters of thousands
Apache Druid | Apache® Druid
Apache® DruidDruid is a high performance, real-time analytics database that delivers sub-second queries on streaming and batch data at scale and under load. Download Join Slack GitHub Sub-second queries at any scaleExecute OLAP queries in milliseconds on high-cardinality and high-dimensional data sets with billions to trillions of rows without pre-defining or caching queries in advance. High concu
Building DistributedLog: High-performance replicated log service
Infrastructure Building DistributedLog: High-performance replicated log service At Twitter, we’ve used replicated logs to address a range of challenging problems in distributed systems. Today we’d like to tell you about DistributedLog, our high-performance replicated log service, and how we used it to address one of these problems. Last year, we provided an in-depth look at Manhattan, Twitter’s di
データベース アーキテクチャーの動向と使い分け
QConTokyo ( http://www.qcontokyo.com/KotaUENISHI_2015.html ) の発表スライド
Pistachio: co-locate the data and compute for... | Yahoo Engineering
Pistachio: co-locate the data and compute for fastest cloud compute https://github.com/yahoo/Pistachio is a distributed key value store system. Data can be replicated with n replicas with strong consistency guarantees. Up to (n-1) failures can be tolerated. It’s being used as the user profile storage for large scale ads serving products within Yahoo. 10+ billions of user profiles are being stored
re:InventでのLogglyの分散ストリーム処理環境に関するセッションが面白かったのでまとめておく - すずけんメモ
さきほど帰国。parse.comのメモに引き続き、re:InventでのLogglyのセッションについてもまとめておく。 【追記 2013/11/20 9:20】スライドがupされていたので貼っておきます。 要約すると、 お客さんから大量に送られてくるログをリアルタイムに捌くためのシステム 最初の設計ではSolrCloudを利用していた 第二世代ではElasticsearchを利用。システム全体としてElasticな環境に。 基本環境はKafka + Stormな構成 セッションの情報は以下のとおり。 ARC303 - Unmeltable Infrastructure at Scale: Using Apache Kafka, Twitter Storm, and Elastic Search on AWS This is a technical architect's case stu
Spannerお勉強メモ - スティルハウスの書庫の書庫
Spannerお勉強メモです。かなり久々の技術系エントリだ。。 朝起きてTwitterみてたら@ichiro_satoh先生のこんなつぶやきが。 現時点ではGoogle Spannerの一番詳しい資料かも。berlinbuzzwords.de/sites/berlinbu…— ICHIRO SATOHさん (@ichiro_satoh) 6月 6, 2012 。。やっぱりGoogleのインフラ情報は学会発表で流れてくるケースが多いなぁと思いつつ、先日公開されたF1（Google規模でスケールするRDB。AdWords用に使われてる）でもSpannerが重要なカギを握っているので、ついカッとなってスライドの要点を訳してみました。 原文はこれです：Building Spanner - Better clocks → stronger semantics（セッションのビデオ） 一行に要約すると、
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
分散システムについて語らせてくれ
Spanner: Google’s Globally-Distributed Database
Hadoop on-mesos