Go言語による分散サービス
本書は、Go言語で分散サービスを構築する方法を解説する書籍です。分散サービスの概要と基本を解説し、設計、開発、およびデプロイする方法をコードを使ってハンズオン形式で学びます。はじめに、ストレージレイヤの構築とデータ構造の定義を行い、gRPCを用いてAPIを定義したサービスをネットワーク上で動作させる方法を説明します。そしてサービスを分散させて、可用性、耐障害性、拡張性を実現する方法を解説し、本番環境のKubernetesへデプロイする方法を学びます。 [本書の正誤表] 本書への推薦の言葉 はじめに 第I部 さあ始めましょう 1章 レッツGo 1.1 HTTPベースのJSONサービスの分散システムへの適合性 1.2 プロジェクトの準備 1.3 コミットログのプロトタイプの作成 1.4 HTTPベースのJSONサーバの構築 1.5 サーバの実行 1.6 APIのテスト 1.7 学んだこと 2章
[Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler
本記事は、PodのAZ分散を実現するPod Topology Spread ConstraintsとDeschedulerについて紹介します。 また、それぞれの課題とその解決方法について書きます。 Kubernetesについて基本的な用語がわかる方であれば読める内容になっているかと思います。 Pod Topology Spread Constraintsとは？ Pod Topology Spread Constraintsを使うことで、Region・Zone・Nodeなどの単位でPodを分散して配置することが可能になります。 例えば、1つのZoneにNodeが2台とPodが1台ずつ配置されているとします。 AZ障害が発生し、Nodeがダウンすると1つのZoneにPodが集中していた場合のサービス影響は大きくなります。 しかし、2台のPodが異なるZoneに配置されていた場合、サービス影響は
![[Kubernetes] PodのAZ分散を実現するPod Topology Spread ConstraintsとDescheduler](https://cdn-ak-scissors.b.st-hatena.com/image/square/8120678b0a17ab97fba65dd87180b2f5bb706a5a/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--jZi9n47W--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255BKubernetes%25255D%252520Pod%2525E3%252581%2525AEAZ%2525E5%252588%252586%2525E6%252595%2525A3%2525E3%252582%252592%2525E5%2525AE%25259F%2525E7%25258F%2525BE%2525E3%252581%252599%2525E3%252582%25258BPod%252520Topology%252520Spread%252520Constraints...%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3Aksudate%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzk4MTI4OGNiOGYuanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Distributed Systems 3rd edition (2017) - DISTRIBUTED-SYSTEMS.NET
You can get a digital (personalized) copy of this book for free. PPT slides now available This page refers to the 3rd edition of Distributed Systems For this third edition of “Distributed Systems,” the material has been thoroughly revised and extended, integrating principles and paradigms into nine chapters: Introduction Architectures Processes Communication Naming Coordination Replication Fault t
OceanVista http://www.vldb.org/pvldb/vol12/p1471-fan.pdf 基本的アーキテクチャは、DC間クラスターをインフラにおいて、高遅延・耐障害性を前提にした分散transactionの仕組みになっている。 どう見てもAlibabaのOceanBaseそのものではない。が、同じAlibabaグループでかつ、Oceanの名前をつけているので、関係はなくはないと思う。少なくとも同じグループまたは情報交換はしているのではないか。技術的な方向性を模索するプロトタイプに見える。 バックグラウンド的な与太話をすると、Alibabaは、というか中国的には、ITでの米国からの依存脱却（ポーズだけなのか、実際なのかは置いておいて）を目標として掲げているのは周知の通り。んで具体的な話としては、Alibaba的には脱Oracleが一つの目標になっている。この目線で見た
We are happy to announce the open source release of Waltz. Waltz is a distributed write-ahead log. It was initially designed to be the ledger of money transactions on the WePay system and was generalized for broader use cases of distributed systems that require serializable consistency. Waltz is similar to existing log systems like Kafka in that it accepts/persists/propagates transaction data prod
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postg... | Hacker News
Back at my old job in ~2016, we built a cheap homegrown data warehouse via Postgres, SQLite and Lambda.Basically, it worked like this: - All of our data lived in compressed SQLite DBs on S3. - Upon receiving a query, Postgres would use a custom foreign data wrapper we built. - This FDW would forward the query to a web service. - This web service would start one lambda per SQLite file. Each lambda
Abstract 本セッションでは、形式手法 (formal methods) を用いた分散システムの設計および実装について解説します。形式手法は、数学的な表現を用いて対象となるシステムを定式化することにより、システムの挙動の「正しさ」を厳密に保証するための方法論です。受講対象は予備知識を持たない初心者を想定しており、具体例を通して形式手法の基本的なアイデアを知ることを目標とします。 分散システムのメリットとデメリット 近年、複数のコンポーネントが非同期的に連携して動作する分散システムは決して珍しいものではなくなりました。正しく設計された分散システムは、集中システムとは比較にならないフレキシビリティとスケーラビリティを発揮します。人気 OSS の中にも分散型の設計を取るものは多数見られ、一昔前のように一部の専門家だけに任せておくだけでなく、すべてのエンジニアにとって一種の基礎教養になってい
GitHub - wasmerio/ate: Distributed immutable data store with strong encryption and authentication
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Web技術の標準化団体であるWorld Wide Web Consortium（W3C）は2022年7月19日、分散IDの規格「Decentralized Identifiers（DIDs）」を標準規格として勧告した。これまでWebサービスで利用者を認証するには中央集権型のIDP（IDentity Provider）が必要だった。分散IDにより、利用者もサービス事業者もオンラインにおけるID情報の管理をコントロールできるようになるという。 携帯電話の電話番号や電子メールのアドレスは認証IDによく使われ、一見利用者が所有しているように見える。しかしMNP（モバイルナンバーポータビリティー）が実現されるまで、携帯電話番号はキャリアを変えると変更を余儀なくされた。また電子メールのアドレスも、個人が契約するISP（インターネットサービス事業者）を変えると変更が必要になる。これがこれまでの中央集権型
AWS CloudFront Pricing and Cost Optimization Guide | CloudForecast
CloudFront is AWS own CDN (Content Delivery Network). CDNs are primarily used for caching, and many customers also use AWS CloudFront CDN as a security layer, or use it to handle network spikes. With AWS CloudFront CDN, when a user requests a webpage or an image, the request is routed to one of Amazon’s 225+ edge server locations. If the edge server already has the resource cached, it’s served to
Building resilient services at Prime Video with chaos engineering | Amazon Web Services
AWS Open Source Blog Building resilient services at Prime Video with chaos engineering Large-scale distributed software systems are composed of several individual sub-systems—such as CDNs, load balancers, and databases—and their interactions. These interactions sometimes have unpredictable outcomes caused by unforeseen turbulent events (for example, a network failure). These events can lead to sys
GitHub - erikgrinaker/toydb: Distributed SQL database in Rust, written as a learning project
Distributed SQL database in Rust, written as a learning project. Most components are built from scratch, including: Raft-based distributed consensus engine for linearizable state machine replication. ACID-compliant transaction engine with MVCC-based snapshot isolation. Pluggable storage engine with BitCask and in-memory backends. Iterator-based query engine with heuristic optimization and time-tra
README.md この和訳メモは以下のリンク先の記事の和訳です。 https://www.linkedin.com/pulse/microservices-client-side-load-balancing-amit-kumar-sharma/ マイクロサービス: クライアントサイドロードバランシング プロダクションでのフェイルセーフ性を確保するために、同じアプリケーションを複数のインスタンスにデプロイします。 同じアプリケーションをホストする論理的なサーバ（ノード）のグループは Application Clusterを構成します。 伝統的なアプローチ それらのノードの一つに伝達させるための伝統的な方法はロードバランサーを通して行われます。 クライアントはアプリケーションクラスタの前にあるロードバランサを知っています。 リクエストを受け取った際に、ロードバランサはクラスタにあるどのノー
How Figma's Databases Team Lived to Tell the Scale | Figma Blog
Our nine month journey to horizontally shard Figma’s Postgres stack, and the key to unlocking (nearly) infinite scalability. Vertical partitioning was a relatively easy and very impactful scaling lever that bought us significant runway quickly. It was also a stepping stone on the path to horizontal sharding. Figma’s database stack has grown almost 100x since 2020. This is a good problem to have be
How Instagram scaled to 14 million users with only 3 engineers
Instagram scaled from 0 to 14 million users in just over a year, from October 2010 to December 2011. They did this with only 3 engineers. They did this by following 3 key principles and having a reliable tech stack. Instagram’s Guiding PrinciplesKeep things very simple. Don’t re-invent the wheel. Use proven, solid technologies when possible. Before I continue… I want to introduce SWE Quiz. It’s a
コラム - グーグルのクラウドを支えるテクノロジー | 第101回 Googleの分散ビルドシステムのアーキテクチャー（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第101回 Googleの分散ビルドシステムのアーキテクチャー（パート1） (中井悦司) 2021年3月 はじめに 今回からは、2020年に公開された論文「Scalable Build Service System with Smart Scheduling Service(PDF)」を紹介します。この論文では、Google社内で利用されている「分散ビルドシステム」のアーキテクチャーが解説されています。独立したいくつかのシステムが連携する分散型のアーキテクチャーになっており、マイクロサービスアーキテクチャーの設計例としても参考になります。 Google社内のビルド環境 第20回の記事でも紹介しましたが、Google社内では、すべてのソフトウェア
ジッターを伴うタイムアウト、再試行、およびバックオフ
あるサービスまたはシステムが別のサービスまたはシステムを呼び出すたびに、障害が発生する可能性があります。これらの失敗は、さまざまな要因から発生することがあります。サーバー、ネットワーク、ロードバランサー、ソフトウェア、オペレーティングシステム、またはシステムオペレーターからのミスが含まれます。故障の可能性を減らすようにシステムを設計していますが、故障しないシステムを構築することは不可能です。そのため、Amazon では、障害の可能性を許容して削減するようにシステムを設計し、わずかな割合の障害を完全に停止するまで拡大することを防いでいます。回復力のあるシステムを構築するために、タイムアウト、再試行、およびバックオフの 3 つの重要なツールを採用しています。 リクエストが通常より長くかかり、完了しない可能性があるため、障害の種類の多くが明らかになります。クライアントがリクエストの完了を通常より
分散システムでのフォールバックの回避
重大な障害が発生したサービスからは、有用な結果を得ることができなくなります。たとえば、e コマースウェブサイトでは、製品情報のデータベースクエリが失敗すると、ウェブサイトは製品ページを正常に表示できません。Amazon のサービスは、信頼性を高めるために、重大な障害の大部分を処理する必要があります。重大な障害を処理するための戦略には、大きく次の 4 つのカテゴリーに分かれます。 • 再試行: すぐに、または少し遅れて、失敗したアクティビティを再度実行します。 • 積極的な再試行: アクティビティを並行して複数回実行し、最初のアクティビティを使用して終了します。 • フェイルオーバー: エンドポイントの別のコピーに対してアクティビティを再度実行するか、できればアクティビティの複数の並行コピーを実行して、それらの少なくとも 1 つが成功する確率を上げます。 • フォールバック: 異なるメカニズ
Index Compression Using Byte-Aligned ANS Coding and Two-Dimensional Contexts
AutoGen | AutoGen
Multi-Agent Conversation FrameworkAutoGen provides multi-agent conversation framework as a high-level abstraction. With this framework, one can conveniently build LLM workflows.
2020 年 4 月 27 日（月） 第 10 回 Google Cloud INSIDE Games & Apps Online Google Cloud 篠原 一徳によるセッション スライドです。Read less
分散型ID ラーニングパス
Intro 分散型IDに関する情報がウェブ上に溢れており、片っ端から読んではいるけれど、なかなか理解が深まらないということもあるかと思います。私も苦労しました。（今もしています笑） 分散型IDに関する規格は、以下の図からわかるように、たくさん存在し、互いに依存したり、関係し合っています。 from Verifiable Credentials Specification Map そこで、この順番で読めば理解が深まるのではないか、というラーニングパスを作ってみました。 ※ まずはVer01(2020-12-10)。徐々にアップデートしていきます。 前提知識 JSON：開発者フレンドリーなデータフォーマット JSON-LD：データに関係性を持たせることができるデータフォーマット。データ間の関係性を可視化するセマンティックウェブなどを起点に始まった。規格が不安定かつ最新情報が反映されていないため
Kinesis Data Analytics不要？Kinesis Data StreamsとDynamoDB Streamsから起動するLambdaでタンブリングウィンドウが利用可能になりました #reinvent | DevelopersIO
CX事業本部＠大阪の岩田です。先日12/15付けのアップデートでKinesis Data StreamsとDynamoDB Streamsから起動するLambdaにタンブリングウィンドウの設定が可能になりました。 少し時間が空いてしまいましたが、このアップデートについてご紹介します。 概要 今回のアップデートにより、Lambdaに流れてきたストリーミングデータの状態をウインドウ単位で管理できるようになりました。Lambdaというサービスはステートレスが基本で、複数の関数呼び出しを跨いで何かしらの状態を共有するにはDynamoDBのような外部データストアを利用するのが基本でした。今後はLambdaのサービス基盤だけで各ウィンドウの状態が管理できます。 具体的なイメージとしては以下のような処理が実現可能になりました。 ストリームに[1,2,3,4,5]というデータが投入される データがウィンド
YDBYDB is a versatile open source Distributed SQL Database that combines high availability and scalability with strong consistency and ACID transactions. It accommodates transactional (OLTP), analytical (OLAP), and streaming workloads simultaneously.
Microsoftは、「Windows 10」ユーザーが「Folding@home」プロジェクトにコンピューターの余剰演算能力を安全に提供するためのPowerShellスクリプトをリリースした。分散コンピューティング技術を活用して疾病研究を行うプロジェクトである「Folding@home」は現在、新型コロナウイルス感染症（COVID-19）の解析に取り組んでいる。 既に多くのユーザーが、Folding@homeのタンパク質動力学シミュレーションを支援するために、macOSやWindows、Linuxにこのソフトウェアのクライアントをダウンロードしている。 Microsoftの今回の取り組みは、Windows 10のユーザーが、Windowsサンドボックスを利用して安全に演算能力を提供できるようにするものだ。 Folding@homeプロジェクトは、生化学と分子生物学が専門のワシントン大学セ
Cloudstate is no longer actively developed Cloudstate was an open source protocol and reference implementation exploring ideas for stateful serverless, and was originally developed by Lightbend. The project is no longer active, since 2021. An open source alternative is Eigr. A continuation of the ideas can be found in Lightbend's platform-as-a-service Akka Serverless.
昨年自社(Retty)に大規模スクラムを導入した際、社内で「LeSSの国内事例は無いのか?」という質問をもらって困ったことがありました。LeSS実践者研修に参加したり、大規模スクラム本を読んだり、LeSS Studyに参加するなど学んでいる人はいたのですが、事例はなかなか出回っていませんでした。少しずつ聞いて回ったところある程度数がまとまったのでまとめて公開します。公開されている資料をベースにまとめていますが、「うちもやってるよ！」というところがあればぜひお知らせください。 Retty atama plus Cybozu ebookjapan Groove X Repro SmartHR Ubie アソビュー！ うるる ヤフー株式会社 クレジットカード事業に関わるシステム Yahoo! MAP、Yahoo! カーナビ リクルートライフスタイル Mixi (2020/3/4) Timers
分散システムのパターン
原文(投稿日：2019/06/29)へのリンク Mathias Verraes氏が一連のブログ記事を投稿して、自身が仕事で出会った、有用な分散システムのパターンについて説明している。目的は、パターンをその有用なコンテキストとともに識別し、命名し、文書化することだ。その中で氏は、誤った状況で使用することが、パターンをアンチパターンにする場合の多いことを強調している。 DDD Europeの創業者兼コンサルタントであるVerraes氏は、現時点で16のパターンを、デカップリング、汎用メッセージング、イベントソーシングという３分野に定義した上で、各パターンについての問題と解決策を、時には例や実装を含めて説明する。 "Completeness Guarantee"は、プロデューサから送信されるドメインイベントセットの定義を目標とする部分と、プロデューサの状態をコンシューマが再現可能であることを必要
Regional Scrum Gathering Tokyo 2022 Room C 14:00-14:45
CockroachDB から覗く形式手法の世界 #CNDT2020 / CloudNative Days Tokyo 2020
CloudNative Days Tokyo 2020 で使用したスライドです。 バグのない分散システムの設計は果たして可能でしょうか？ この問いに対する一つの答えとして、CockroachDB では形式手法ツール TLA+ を用いて分散トランザクションの正しさを担保しています。 形式手法はシステムの挙動を数学的に解析する技法で、「ノードが特定のタイミングで故障した場合にのみ発生するバグ」といった再現困難な問題を確実に検出することができます。 本講演では、CockroachDB の事例を通して、形式手法が実世界で活用されている様子をお伝えします。 イベント概要：https://event.cloudnativedays.jp/cndt2020 ブログ記事：https://ccvanishing.hateblo.jp/entry/2020/09/10/044848
Parapet - A purely functional library to build distributed and event-driven systems
A purely functional library to build distributed and event-driven systems It's not a secret that writing distributed systems is a challenging task that can be logically broken into two main aspects: implementing distributed algorithms and running them. Parapet plays the role of execution framework for distributed algorithms - it can be viewed as an intermediate layer between a low-level effect lib
Cisco Advent Calendar 2019 第24日目！ 1. はじめに 2019年も早くも年末となりました。Cisco有志で綴るAdvent Calendarも今年は3回目。私はこの、年末恒例行事になったわくわくするAdvent Calendarに、わくわくする(?!)システム理論的なことを書くことにしています。過去二回のエントリーもぜひご覧いただけたら嬉しいです。 2017年 ネットワーク・エンジニアリングから学ぶこと − システム理論の見地から 2018年 システム理論の続き - 生命モデルの限界と克服 2. システム理論って何？ 「わくわくするシステム理論」などと言いながら、そういえば「システム理論とは何か」についてきちんと記述していませんでした。Wikipediaによる「システム理論」解説 によると「現象のマクロな挙動を直接的にモデル化して扱う科学理論のこと」と書かれて
Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合
Google Cloud、Google Distributed Cloudにオンプレミス用の「Anthos on-premises」を「GDC Virtual」として統合 Google Cloudは、これまで同社のハイブリッドクラウド戦略を実現する製品としてオンプレミス用に提供してきた「Anthos on-premises」の製品名を「Google Distributed Cloud Virtual」（GDC Virtual）に変更し、Google Distributed Cloudブランド傘下の製品として位置づけ直すことを明らかにしました。 New update to our Google Distributed Cloud portfolio Google Distributed Cloud Virtual: a software-only solution that brings o
パフォーマンス効率のクイック リンク - Microsoft Azure Well-Architected Framework
このブラウザーはサポートされなくなりました。 Microsoft Edge にアップグレードすると、最新の機能、セキュリティ更新プログラム、およびテクニカル サポートを利用できます。
· Information · Schedule · Submissions · Labs: 1 2 3 4 5 · Questions · Past Exams · 2023 Web Site · 2022 Web Site · 2021 Web Site · 2020 Web Site · 2018 Web Site · 2017 Web Site · 2016 Web Site · 2015 Web Site · 2014 Web Site · 2013 Web Site · 2012 Web Site · 2011 Web Site · 2010 Web Site · 2009 Web Site · 2007 Web Site · 2006 Web Site · 2005 Web Site · 2004 Web Site · 2002 Web Site · 2001 Web Sit
分散型クラウドコンピューティングプラットフォームDFINITY DFINITYとはDFINITYは、ブロックチェーンを使って分散型のクラウドコンピューティングプラットフォームを提供しようというプロジェクトです。 DFINITY Foundation | Internet Computer DFINITY上では、現在私たちが利用しているようなウェブサイトやウェブサービス、API、企業・業界システム、昨今注目を集めるDeFiサービス（分散型金融サービス）などありとあらゆるインターネットサービスが稼働することが想定されています。 DFINITYは、提供するクラウドコンピューティングプラットフォームを、安全で止められない「インターネットコンピュータ」（Internet Computer）と表現しています。初めて聞くと、直観的にイメージしにくいですが、分散型のAWS（Amazon Web Servi
HDFSのブロックデータ転送の暗号化 HDFSの実データに相当するブロックデータの転送に対する暗号化はRPC暗号化とはさらに別のパラメータで管理されています。 hdfs-siteの dfs.encrypt.data.transfer を true に、 dfs.encrypt.data.transfer.cipher.suites を AES/CTR/NoPadding にそれぞれ指定することで有効化します。 この設定を無停止で反映するにあたっては、転送の暗号化設定の反映済/未反映を判別する dfs.trustedchannel.resolver.class によるノードの動的な管理、場合によっては拡張による独自実装が必要となります。 HDFSクライアントおよびNameNode・DataNode間で dfs.encrypt.data.transfer の真偽が一致していない場合はブロックデ
MicrosoftはCNCF（Cloud Native Computing Foundation）が主催するWebinarで、クラウドネイティブなシステムにおいて分散処理を実装するランタイムであるDaprを解説するセッションを実施した。CNCFのWebinarページには、CNCFにホストされている多数のプロジェクトのセッションだけではなくCNCFのメンバーによる技術解説が公開されている。今回紹介するセッションは2020年10月1日に公開されたもので、CNCFのプラチナムメンバーであるMicrosoftがコンテンツを提供したものになる。 参考：Dapr, Lego for microservices セッションのタイトルは「Dapr, Lego for Microservices」というもので、マイクロサービスを構築する際にランタイムとして機能するDaprの最新情報を紹介する内容となった。
https://fortee.jp/iosdc-japan-2021/proposal/1b05a1c0-91ef-401a-b3f3-36f0e57a6a25
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
OceanVista 再読 - 急がば回れ、選ぶなら近道
Waltz: A Distributed Write-Ahead Log
形式手法による分散システムの検証 - builderscon tokyo 2019
W3Cが分散IDの規格を標準化、認証サービスの選択が可能に
File systems unfit as distributed storage backends: lessons from ten years of Ceph evolution | the morning paper
Microservices: Client Side Load Balancing の和訳
Understanding distributed processing in Python
GKE に飛んでくるトラフィックを 自由自在に操る力 | 第 10 回 Google Cloud INSIDE Games & Apps Online
YDB — an open source Distributed SQL Database
マイクロソフト、「Folding@home」の新型コロナ分析に協力するPowerShellスクリプトを公開
Distributed State Management for Serverless - Cloudstate
大規模スクラム(LeSS)に取り組んでいる国内事例一覧 - tuneの日記
Scrum@Scaleの理論と実装 / RSGT2022
システム理論の続き - 宣言的ネットワーキング - Qiita
6.5840 Home Page: Spring 2024
分散型クラウドコンピューティングプラットフォームDFINITY
よりセキュアなHadoopの作り方 〜 ApacheCon Asia 2021登壇報告
Microsoftがリードするモダンな分散システム用ランタイムDaprとは？
大規模なアプリのマルチモジュール構成の実践