分散システムの一貫性に関する動向について
ヤフー株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。LINEヤフー Tech Blog システム統括本部アーキテクト室 今野です。 昨年は、Twitter,Facebookを始めとするクラウド各社で新規の分散システム開発のプロジェクトが相次いで発表された年でした。これらの新しい分散システムを開発する理由や、その背景にあるものは何なのでしょうか？ 今回は、昨年末に開催された高信頼性分散システム系の国際学会であるSRDS 2014[1]の発表内容に関連する論文の話題も踏まえて、昨今のクラウド各社の分散システムの動向について整理してみます。 分散システムにおけるクラウド各社の動向 近年の分散データベースの世界では、AmazonのDynamo[2]やFacebookのCassandra[3]などを代表とする結果整合性（Eve
論理クロックの原典をあたる - obfuscatism
この記事は システム系論文紹介 Advent Calendar 2014 の25日目のエントリである。 注意点としては、私は分散システムの専門家とは言い難いので、読者自身で確信・確認できることから信じていってもらいたい（間違った知識を覚えないように。もちろん誤りのないよう努力はしている）。 はじめに Advent Calendar 最終日だけど特に締めとしてシステム系とは何ぞやと語ることはせず、分散システムにおいて有名な論文を今回も短めに紹介する。 「システム系論文」の定義っぽいものや、それと思われる論文の調べ方・読み方については23日目のy_uukiさんのインフラエンジニア向けシステム系論文 - ゆううきブログがよくまとまっているので、そちらを読むのがオススメである（ハテブ数も多い！）。 本エントリで紹介するのはLamport先生の以下の論文となる。見ての通り1978年だ！ そのとき私は
gist:33b8fd23b0f416ea2ce2
Coordination-Avoiding Database Systems 解説 2014/9/19 @ PFI 第2回システム系論文輪読会 自己紹介 @kuenishi Basho Japan, KK WE ARE HIRING Riak CSの開発してます モチベーションは… Coordination-Avoiding Database Systems Authors - All Big Names Peter Bailis - CAP定理とトランザクションがテーマ pubs @ UCB Alan Fekete - 言わずとしれたRDB界の大物 Micheal J. Franklin - TelegraphCQとかSparkとか @ AMPLab Ali Ghodsi @ UCB Joseph M. Hellerstein - TelegraphCQとかCALMとか @ UCB Io
分散コンピューティングの落とし穴 - Wikipedia
分散コンピューティングの落とし穴（ぶんさんコンピューティングのおとしあな）は、サン・マイクロシステムズのピーター・ドイチュらが提唱した、初めて分散アプリケーションを開発するプログラマが想定してしまいがちな、誤った前提を集めたものである[1]。 落とし穴[編集] 落とし穴として挙げられているのは、以下の8つである。 ネットワークは信頼できる。 レイテンシはゼロである。 帯域幅は無限である。 ネットワークはセキュアである。 ネットワーク構成は変化せず一定である。 管理者は1人である。 トランスポートコストはゼロである。 ネットワークは均質である。 経緯[編集] これらの落とし穴のリストはサン・マイクロシステムズ社に端を発している。1994年にサンのフェローの最初期メンバーの1人、ピーター・ドイチュが最初の7項目を執筆したとされている。しかし、ビル・ジョイとトム・ライオンが既に最初の4つを「ネッ
Notes on Distributed Systems for Young Bloods – Something Similar
I’ve been thinking about the lessons distributed systems engineers learn on the job. A great deal of our instruction is through scars made by mistakes made in production traffic. These scars are useful reminders, sure, but it’d be better to have more engineers with the full count of their fingers. New systems engineers will find the Fallacies of Distributed Computing and the CAP theorem as part of
モバイル通信プロトコル授業資料
お知らせ(1/19更新:最終レポートの出題範囲を訂正しました) 第3回(最終)レポート課題を出題しています。 詳細は下記を参照してください。 一月以降の授業予定はは1月12日(木)2限および1月19日(木)2限のみと します。1月26日(木)2限およびそれ以降は休講とします。 成績は計3回のレポート(70%)および出席状況(30%)から評価します。 第3回(最終)レポート課題(1月19日(木)出題) 第10回〜第11回授業まで（教科書7章、8章）の授業スライド末尾の演習問題を、 各2問以上(全部で3問以下しか無い場合は1問以上)選択して回答すること 提出〆切：2月3日（金） 提出方法：前回までと同様 提出ファイル名は、"(学籍番号)-report3.(拡張子)"の形式にすること(例： N3501234-report3.pdf) 第2回レポート課題(12月22日(木)出題) 第6回〜第9回授
Readings in distributed systems
This post is a work in progress. Inspired by a recent purchase of the Red Book, which provides a curated list of important papers around database systems, I’ve decided to begin assembling a list of important papers in distributed systems. Similar to the Red Book, I’ve broken each group of papers out into a series of categories, each highlighting a progression of related ideas over time focused in
ビッグデータ基盤技術勉強会で喋ってきた - kuenishi's blog
研究会が設立されるとか、前からそういう流れになるとは聞いていたが、今日（11日）に開催されたビッグデータ基盤技術勉強会に参加して発表してきた。招待してくれた川島先生には感謝しかない。それにしてもあれ研究会じゃないの、ビッグデータとかいまさら冠するなんて、なんというダサいネーミングセンスなんだと思ってはいけない。世間がやっと俺たちに追い付いてきたんだから、ダサいと思ってはいけない。飽きたころに慣れたものをやめてサッサと次に行っていいのは式年遷宮だけだ。 ぼくの発表もなるべく復習に徹して、研究会だからなにか新しいことを言わなくてもいい、インダストリアル枠だしわかってることを解説していこうというスタンスで解説した。詳細を省いているところも、語弊があるところもあるがお許しいただきたい。 さて丸一日盛り上がってワイワイやった後に、吉祥寺で本番の会があって、そこでまた（いつもの）いろんな人と話した。そ
Raftを紹介する - obfuscatism
はじめに Raft Consensus Algorithm の論文 “In Search of an Understandable Consensus Algorithm” http://ramcloud.stanford.edu/raft.pdf について簡単に紹介する。 また、論文のついでに読んでおくと理解が捗ると思われる文献（スライド、ウェブサイト）も紹介する。 というのも先日、ふと システム系論文紹介 Advent Calendar 2014 という物を私が立ち上げてしまったので、言い出しっぺの自分が先陣を切らせてもらう。 とはいえ今回の論文紹介にじっくり時間をかけて取り組めなかったため、雑な紹介になってしまう点はご了承いただきたい。 12月6日（土）に開催される 第3回 システム系論文輪読会 – connpass もあるため、輪読の発表会に興味のある方は是非参加いただきたい。 R
佐藤一郎: Web日記 (2010年)
もともとは研究用ソフトウェアの開発履歴に関するページだったのですが、開発関連よりも雑談の方が多くなったので、2001年分から別のページを用意することにしました。リンクは勝手にしてください（でもリンクしたい人なんているのでしょうか）。 最新版 一覧 2010年3月31日 国際会議(PerCom)ですが、欧州開催で参加者数を心配したのですが、400人弱だったそうで、やれやれというところ。それと今回は通信など別分野の著名研究者も来ていたので、質的にもよかったのではないでしょうか。夜は7月に開催される別の国際会議の相談。その会議のジェネラルチェアは当方なので、会議関係者とテーブルを囲んで密談です。この出張のミッションの一つ。 ところでPerComと同様分野の国際会議にUbicompやPervasiveがあり、地味な研究を好むPerComと、派手好きなUbicompやPervasiveで棲み分けがで
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Distributed systems theory for the distributed systems engineer | Paper Trail
Paxos
第2回 分散システム本読書会
Distributed Systems 第1章 Introduction
Leader Election, Why Should I Care?