有料で配信されている学術論文を無料で閲覧できる海賊版サイト「Sci-Hub」が、自身のドメイン管理を分散型ネームシステムの「Handshake」に移行したと報じられています。Sci-Hubは裁判所のドメイン利用差止め命令によりドメインを何度も変更してきた背景があり、今回の分散型DNSへの移行はそうした問題を恒久的に解決するための動きとみられます。 Pirated Academic Database Sci-Hub Is Now on the ‘Uncensorable Web’ | Nasdaq https://www.nasdaq.com/articles/pirated-academic-database-sci-hub-is-now-on-the-uncensorable-web-2021-01-11 Tutorial 1: What is Handshake and HNS htt
Announcing Grafana Tempo, a massively scalable distributed tracing system | Grafana Labs
Solutions All end-to-end solutions Opinionated solutions that help you get there easier and faster
Googleが作った分散アプリケーション基盤、Borgの論文を読み解く -その2- - inductor's blog
このエントリーについて このエントリーを書き始めた経緯は下記にあります。 inductor.hatenablog.com 今回は前回の続きでセクション3からです！前回のエントリーはこちらです。 inductor.hatenablog.com 3. Borgアーキテクチャ(Borg architecture) Borgセルは、マシンのセット、Borgmasterと呼ばれる論理的に集中化されたコントローラ、およびセル内の各マシン上で実行されるBorgletと呼ばれるエージェントプロセスで構成されます(図1参照)。 BorgのすべてのコンポーネントはC++で書かれています。 3.1 Borgmaster 各セルのBorgmasterは、メインBorgmasterプロセスと個別のスケジューラ（§3.2）の2つのプロセスで構成されています。 メインのBorgmasterプロセスは、ステートを変更（ジ
GitHub - losfair/mvsqlite: Distributed, MVCC SQLite that runs on FoundationDB.
Full feature-set from SQLite: mvSQLite integrates with SQLite as a custom VFS layer. It is a layer "below" SQLite, and all of SQLite's features are available. Time travel: Checkout the snapshot of your database at any point of time in the past. Lock-free, scalable reads and writes: Optimistic fine-grained concurrency with BEGIN CONCURRENT-like semantics. mvSQLite inherits FoundationDB's lock-free
※この投稿は米国時間 2020 年 5 月 2 日に、Google Cloud blog に投稿されたものの抄訳です。 分散システムには数多くの設計方法が存在しますが、その一つにシステムの自然な拡張を考慮した設計があります。この方法では、システムがより多くのリクエストを処理していくにつれて、コンポーネントの書き換えや再設計を行います。また、概念実証から始める手法もあります。システムによってビジネスに付加価値がもたらされたら、次のバージョンがゼロから設計されます。 Google では、Non-Abstract Large System Design（NALSD）と呼ばれる手法を使用しています。NALSD は、分散コンピューティング向けの Borg クラスタ管理や Google の分散ファイル システムなど、分散システムの設計、検証、評価を行うための反復プロセスについて記述しています。最初から
Introduction AWSが提供するDWHサービス、Amazon Redshift。 全世界での採用企業は数万社を超えており、弊社も国内において多くのお客様に導入のご支援をさせて頂きました。 RedshiftはAWSエコシステムとの親和性が高く、AWSを既にご利用のお客様は導入の敷居が低いDWHサービスとなっております。 しかし、適切なテーブル設計を行わなければパフォーマンスを全く発揮できません。 不適切なテーブル設計をしてしまったが故、「バッチ処理が当初想定していた時間で終わらない」等、弊社にご相談頂いたお客様も数多くいらっしゃいます。 では、Redshiftを扱うにあたってどのようなテーブル設計を行えば良いのか。 本記事では、パフォーマンスの向上に繋がるテーブル設計のポイントを3つ、ご紹介致します。 1. ソートキー（SortKey） ソートキー（SortKey）は、テーブルのデ
おはようございます☀😃 不動産系サラリーマンをしながら行政書士登録も受けた仕事人間の近藤です！ 本日は、〝収入源の分散〟について、書かせて頂こうと思います。 いつも書かせて頂いている様に、僕は、サラリーマンをしながら行政書士としても開業しています。 （とはいえ、行政書士の仕事をする上での営業活動をしていませんので、行政書士としての収入は、ほぼありません。） よく、投資の格言として、『卵を一つのカゴに盛ってはならない』という事が言われます。 （卵を資産に見立てていると思いますが。） カゴを落とした時にすべての卵（資産）が割れてしまう（資産を失ってしまう）という意味で、リスク分散の重要性を示したものです。 僕は、現在、それほど大きな投資は行っていません。 ただ、最近は、上記の格言と同じく、自分自身の収入源（仕事や収益を生む物）をいくつか持てば、例えどれかがダメになっても、他の事で収入をカバー
GitHub - oceanbase/oceanbase: OceanBase is an enterprise distributed relational database with high availability, high performance, horizontal scalability, and compatibility with SQL standards.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Amazonのクラウドコンピューティングサービスを提供しているAmazon Web Services(AWS)が2021年3月2日に、自社のフルマネージドサービスであるAmazon Managed Blockchainで、ビットコインに次ぐ時価総額を誇る暗号資産のイーサリアムのブロックチェーンに対応する「Ethereum on Amazon Managed Blockchain」の一般提供を開始したことを発表しました。 Ethereum on Amazon Managed Blockchain の一般提供を発表 https://aws.amazon.com/jp/about-aws/whats-new/2021/03/announcing-general-availability-of-ethereum-on-amazon-managed-blockchain/ Amazon Manage
Apache Flink PlaygroundsでApache FlinkとApache Kafkaによるストリーム処理の雰囲気を感じてみた | DevelopersIO
Amazon Kinesis Data Analyticsでは、Apache Flinkをベースとしたストリーム処理が可能です。 Apache Flink PlaygroundsはFlinkの機能を手早く試せる環境をDocker Composeを使って構築できます。 今回はApache Flinkがどういったものなのかを知る為にApache Flink Playgroundsで遊んでみました。 apache/flink-playgrounds: Apache Flink Playgrounds Apache Flink 1.9 Documentation: Flink Operations Playground Apache Flink Apache Flink is an open source platform for distributed stream and batch data
デジタルアイデンティティ ～自己主権型/分散型アイデンティティ～
1 目次 エグゼクティブサマリ..........................................................................................................2 1. デジタル時代の新しいアイデンティティ管理...............................................................3 2. 自己主権型/分散型アイデンティティとは何か.............................................................5 2-1. 自己主権型アイデンティティとは...........................................................................5 2-2.
※本文読まなくてもいいので、ぜひ図だけでも見ていってください笑 ※このあたりお詳しい人がいたらコメント、補足など大歓迎 目次 目次 0. はじめに 1. 更新版ビジョン 2. 代表的なクラスタリング 2.1非階層型（K-means法）[1,2] 2.2 階層型（樹形図：デンドログラム）[2,3,4] 2.4 その他 3. 群知能クラスタリング[5] 3.1 Ant Colony Clustering Model (ACCM) 3.1.1 概要 3.1.2 クラスタリング挙動の可視化 3.2 Boids（Bird-oid:仮想的な鳥）、あるいはFlock Algorithm 3.2.1 概要 3.2.2 クラスタリング挙動の可視化 3.2.3 入れ子構造のクラスタリング 3.2.4 補足 4. おわりに 5. 参考 0. はじめに 私のやりたい構想をまとめたブログ（超個体型データセンターにお
GitHub - maxpert/marmot: A distributed SQLite replicator built on top of NATS
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
CSE 138: Distributed Systems
From the beginning of this year, I started to take lecture courses of undergrad distributed systems course at UC Santa Cruz (CSE 138) by Lindsey Kuper. It consists of 23 lectures (you can see the schedule of topics from here) and recently I’ve finished all of them. I’m not a student at UCSC but due to the COVID-19 situation, all these lectures were delivered online and are available on YouTube. So
2024/02/07A Distributed Systems Reading ListThis document contains various resources and quick definition of a lot of background information behind distributed systems. It is not complete, even though it is kinda sorta detailed. I had written it some time in 2019 when coworkers at the time had asked for a list of references, and I put together what I thought was a decent overview of the basics of
0 0 5 0 Dropbox の同期エンジンのコードを完全に書き換えるのは、困難な道のりでした（その目標と決断までの詳細については、以前の投稿をご覧ください）。コードの書き換えとは、運用中に膨大な数のユーザーのマシンで稼働している Dropbox を支えるエンジンを入れ替えることです。正しくコードを書き換えるには、テストの自動化に本腰を入れる必要がありました。私たちが策定したテスト戦略のおかげで、コードを書き換えている間、いつでも正しい方向に向かっていると確信が持てました。このおかげで現在も、短いリリース周期で新機能の開発と出荷を続けることができます。 ここでは、最初に新しい同期エンジン「Nucleus」の設計に反映したテスタビリティの検討事項と、テストしやすいアーキテクチャ上に構築したランダム化テスト システムの一部について説明していきます。 目次 テスタビリティ 1-1. プロトコル
Create distributed services with easeLunatic is a WebAssembly runtime inspired by Erlang. It provides isolated, lightweight processes for massive concurrency and fault tolerance. Easily create distributed clusters with secure connections between nodes.
きっかけは、たつぞうさんからのタレコミでしたW このツリー、また怪傑さんがブログにまとめてくれるはず。|дﾟ)ﾁﾗｯ いつも思うけど、ここまでの議論が、パッと、アドリブで丁々発止でできること自体がスゴいことなのよ。 多分、どこのコンサルでもここまで深い理解は出来てないのでは クリプト界隈の意義のあるプロレスを記事にまとめることに存在意義を見出した私としては早速まとめにとりかかりました！ 今回の対談テーマは「ブロックチェーンにコンソーシアムは是か？否か？」 以下 ２名の対談となります。 ひよこさん と極度信玄（してます）さん "集中化されたブロックチェーンはトランザクションを簡単に検閲でき、通常の分散データベースよりも使用するのがはるかに非効率的であるため、分散化なしではブロックチェーンを使用する意味はあまりありません。" ↑これに対して、ブロックチェイナーの反論を聞きたい。。 基本的には同
AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.06.17 ｜ Writer：H.Mori AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス 多くのユーザーが頻繁に訪れて利用するオンラインサービスは、大量のデータを滞りなく処理し、さらに拡張していく必要があります。では、このようなデータ管理を効率的に行うにはどうすればいいのでしょうか？ AWSではそのひとつの答えとして、数ミリ秒台のパフォーマンスを実現するデータベースである「Amazon DynamoDB」を提供しています。本コラムではその特徴や利用例を紹介します。 大量データを高速に処理し、無限の拡張性を持つべく誕生したAmazon DynamoDB インターネット上で展開される、広告やゲーム、メディア配信、ショップ、金融、予約、IoTなど、非常に多くのユーザーの要求に対応しデータ処理を迅速に行うことが必要なビジネスが急成長しています。こ
GitHub - vlcn-io/cr-sqlite: Convergent, Replicated SQLite. Multi-writer and CRDT support for SQLite
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Over the past few weeks, the Bitbucket Engineering team has been sharing our ongoing efforts and wins in our journey to achieving world-class reliability. In our previous post, Development Manager Dan Tao took you through our PIR process. In this next post, we’ll talk about database scalability. Bitbucket’s usage is growing Two services at the core of Bitbucket are the ones serving the Bitbucket w
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ etcdとは？OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。 https://et
This article is more than one year old. Older articles may contain outdated content. Check that the information in the page has not become incorrect since its publication. EndpointSlices are an exciting new API that provides a scalable and extensible alternative to the Endpoints API. EndpointSlices track IP addresses, ports, readiness, and topology information for Pods backing a Service. In Kubern
GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Microsoftは、分散型、スケーラブル、リアルタイムのコラボレーションWebアプリ向けのFluid Frameworkをオープンソース化
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
以下イベントの発表資料です。 https://rook.connpass.com/event/202147/
Percolator vs Spanner. Implementing Distributed Transactions the Google Way
Our post 6 Signs You Might be Misunderstanding ACID Transactions in Distributed Databases describes the key challenges involved in building high performance distributed transactions. Multiple open source ACID-compliant distributed databases have started building such transactions by taking inspiration from research papers published by Google. In this post, we dive deeper into Percolator and Spanne
GitHub - aws/clock-bound: Used to generate and compare bounded timestamps.
ClockBound allows you to generate and compare bounded timestamps that include accumulated error as reported from the local chronyd process. On every request, ClockBound uses two pieces of information: the current time and the associated absolute error range, which is also known as the clock error bound. This means that the “true” time of a ClockBound timestamp is within a set range. Using ClockBou
Today, AWS announces Amazon Aurora Limitless Database, which enables you to scale your Amazon Aurora clusters to millions of write transactions per second and manage petabytes of data. With this new capability, you can scale your relational database workloads on Aurora beyond the limits of a single Aurora writer instance without needing to create custom application logic or manage multiple databas
Distributed transaction patterns for microservices compared | Red Hat Developer
As a consulting architect at Red Hat, I've had the privilege of working on legions of customer projects. Every customer brings their own challenges but I've found some commonalities. One thing most customers want to know is how to coordinate writes to more than one system of record. Answering this question typically involves a long explanation of dual writes, distributed transactions, modern alter
How my distributed team communicates so no context is left behind
How my distributed team communicates so no context is left behind My team at CircleCI is made up of seven engineers, a product manager, a designer, and an engineering manager, and we are distributed all across the world: in the US from West Coast to East Coast, then to Serbia, Thailand, and finally Japan. Usually, we’re based in places like San Francisco, Chandler, Tempe, Boulder, Knoxville, Novi
No more DSLs: Implement and deploy a distributed system with a single program
No more DSLs: Implement and deploy a distributed system with a single program If you want to write a distributed system, then instead of writing a thousand different programs and configuration files in many different DSLs, you can use an approach I call "single-program systems", and write just one program. In this article, I describe how we do this at $DAYJOB, and I show some example programs. The
データ分散アルゴリズムASURAの実装
最近、 仕事がピリっとしないからか、 趣味で分散ストレージでも作ってみようかなぁと思って色々と思考を巡らしている。 分散ストレージには大きく分けて２つの実装がある（と思う）。 １つは、どのデータがどこにあるかなどのメタデータを持つメタデータサーバを 保持し、そのメタデータサーバを参照・更新しながらレプリケーションや、ピースの分散を行うというタイプのもの。 もしこれをやるのであれば、メタデータはTiKVを使おうかなと考えていた。 TiKVはRustで実装された分散KVSだが、 レプリケーションを行う単位をRaftグループとして、これを複数持つMulti-Raftという構成をとっている。 外にはプレースメントドライバというプロセスがデータや負荷の分散具合を監視し、 必要に応じてマイグレーションを行っているらしい。 Raftを使っていれば、マイグレーションは簡単だろうと想像する。 もう１つは、そ
Yoshimasa Niwa on Twitter: "圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE"
圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE
AWSの各サービスを一行で把握する - Qiita
概要 AWSの主要な各サービスを一行でまとめてみました。全てのサービスを網羅しているわけではないです。 AWS認定資格試験テキスト AWS認定 ソリューションアーキテクト-アソシエイトの本の復習がてらです。 読んだら何のサービスか聞かれて答えられるようになるかも。 ちなみにアイコンは公式のAWS アーキテクチャアイコンから取得できます。 ネットワークとコンテンツ配信 全ての始まりはネットワーク構築から。 リージョン・・・AWSがサービスを提供している国と地域のこと。 アベイラビリティーゾーン(AZ)・・・データセンターの集まり。リージョン内に複数のAZが含まれている。 VPC (Virtural Private Cloud) プライベートなネットワークを構成するサービス。ゲートウェイ、サブネット、ルートテーブルなどを利用する。 CloudFront サーバのキャッシュを配信するCDN(Co
Hive Distributed Profiling System in Treasure Data - Japanese version #tdtechtalk
『Hive Distributed Profiling System in Treasure Data』の日本語版スライド。 English version -> https://speakerdeck.com/okumin/hive-distributed-profiling-system-in-treasure-data-english-version-number-tdtechtalk TreasureData Tech Talk 2022にて発表 https://techplay.jp/event/879660
The etcd key-value store is a distributed database based on the Raft consensus algorithm. In our 2014 analysis, we found that etcd 0.4.1 exhibited stale reads by default. We returned to etcd, now at version 3.4.3, to investigate its safety properties in detail. We found that key-value operations appear to be strict serializable, and that watches deliver every change to a key in order. However, etc
背景 Log Matching Property の証明 データ構造と述語の定義 AppendEntries 関数の性質 leader の log に関する性質 Log Matching Property の証明 参考資料 背景 分散合意アルゴリズム Raft は kubernetes のクラスターの構成情報を保存する etcd の内部で使われておりお世話になっている方も多いアルゴリズムだと思います。 この記事では Raft の満たす重要な性質である Log Matching Property について証明します。 元々、『Raft を TLA+ で検証する』というタイトルの記事を書こうと考えて Raft の考案者 Diego Ongaro の博士論文を読み始めました（その記事は後日公開予定です）。 アルゴリズムは論文の 3 章に書かれているのですが、そこで Raft が常に成り立つことを
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GitHub - bigscience-workshop/petals: 🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
海賊版論文サイト「Sci-Hub」が分散型ネームシステム「Handshake」に移行
NALSD フラッシュカードを使用した 分散システムの設計 | Google Cloud 公式ブログ
パフォーマンスに影響！Redshiftのテーブル設計時に最低限意識すべきポイント3選
収入源の〝分散〟 - 不動産×行政書書士Blog
AWSがAmazon Managed Blockchainでイーサリアムに正式対応
自律分散協調システム的妄想と群知能クラスタリング - クマガリウムぶろぐ
A Distributed Systems Reading List
Dropbox での同期のテスト 確信を持って同期の中核コードを書き換えるまで
Lunatic: an Erlang-inspired runtime for WebAssembly
ブロックチェーンにコンソーシアムは是か？否か？ - 快傑Ｚの仮想通貨を投資以外で消耗してます！
Scaling Bitbucket's Database - Bitbucket
分散KVS「etcd」の環境を世界最速で構築！！ | SIOS Tech. Lab
Scaling Kubernetes Networking With EndpointSlices
プロダクション向けRook/Cephクラスタ構築への道
Announcing Amazon Aurora Limitless Database
Jepsen: etcd 3.4.3
A Proof for Log Matching Property of Raft - 俺の Colimit を越えてゆけ
Grafanaが分散トレースシステムGrafana Tempoを発表