きっかけは、たつぞうさんからのタレコミでしたW このツリー、また怪傑さんがブログにまとめてくれるはず。|дﾟ)ﾁﾗｯ いつも思うけど、ここまでの議論が、パッと、アドリブで丁々発止でできること自体がスゴいことなのよ。 多分、どこのコンサルでもここまで深い理解は出来てないのでは クリプト界隈の意義のあるプロレスを記事にまとめることに存在意義を見出した私としては早速まとめにとりかかりました！ 今回の対談テーマは「ブロックチェーンにコンソーシアムは是か？否か？」 以下 ２名の対談となります。 ひよこさん と極度信玄（してます）さん "集中化されたブロックチェーンはトランザクションを簡単に検閲でき、通常の分散データベースよりも使用するのがはるかに非効率的であるため、分散化なしではブロックチェーンを使用する意味はあまりありません。" ↑これに対して、ブロックチェイナーの反論を聞きたい。。 基本的には同
AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス｜コラム｜クラウドソリューション｜サービス｜法人のお客さま｜NTT東日本
2020.06.17 ｜ Writer：H.Mori AWSのNoSQLデータベースAmazon DynamoDBの特徴とベストプラクティス 多くのユーザーが頻繁に訪れて利用するオンラインサービスは、大量のデータを滞りなく処理し、さらに拡張していく必要があります。では、このようなデータ管理を効率的に行うにはどうすればいいのでしょうか？ AWSではそのひとつの答えとして、数ミリ秒台のパフォーマンスを実現するデータベースである「Amazon DynamoDB」を提供しています。本コラムではその特徴や利用例を紹介します。 大量データを高速に処理し、無限の拡張性を持つべく誕生したAmazon DynamoDB インターネット上で展開される、広告やゲーム、メディア配信、ショップ、金融、予約、IoTなど、非常に多くのユーザーの要求に対応しデータ処理を迅速に行うことが必要なビジネスが急成長しています。こ
◆ Live配信スケジュール ◆ サイオステクノロジーでは、Microsoft MVPの武井による「わかりみの深いシリーズ」など、定期的なLive配信を行っています。 ⇒ 詳細スケジュールはこちらから ⇒ 見逃してしまった方はYoutubeチャンネルをご覧ください 【5/21開催】Azure OpenAI ServiceによるRAG実装ガイドを公開しました 生成AIを活用したユースケースで最も一番熱いと言われているRAGの実装ガイドを公開しました。そのガイドの紹介をおこなうイベントです!! https://tech-lab.connpass.com/event/315703/ etcdとは？OSSの分散KVSです。単純なkey-Value形式のデータを保存することができます。アーキテクチャーも単純で、構築もそれほど難しくはありません。詳細は以下のURLを御覧ください。 https://et
GitHub - ServiceWeaver/weaver: Programming framework for writing and deploying cloud applications.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Microsoftは、分散型、スケーラブル、リアルタイムのコラボレーションWebアプリ向けのFluid Frameworkをオープンソース化
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
以下イベントの発表資料です。 https://rook.connpass.com/event/202147/
Percolator vs Spanner. Implementing Distributed Transactions the Google Way
Our post 6 Signs You Might be Misunderstanding ACID Transactions in Distributed Databases describes the key challenges involved in building high performance distributed transactions. Multiple open source ACID-compliant distributed databases have started building such transactions by taking inspiration from research papers published by Google. In this post, we dive deeper into Percolator and Spanne
DynamoDB の設計について考えてみる。 - Qiita
Amazon DynamoDB の特性 フルマネージド型の NoSQL データベースサービス 3つの Availability Zone に保存されるので信頼性が高い 性能要件に応じて、テーブルごとにスループットキャパシティを定義するキャパシティの Auto Scaling、オンデマンドキャパシティといった設定も可能 ストレージの容量制限がない DynamoDB のテーブル DynamoDB におけるテーブルはRDBMSにおけるテーブルと概念が異なります。 テーブルを作成する際に、Primary Key を指定する必要があります。 Primary Key はテーブルの各項目を一意に識別するために使います。Primary Key は、Partition Key および Sort Key で構成されます。(Sort KeyがなくPartition Keyのみの場合もあります) Item は R
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GitHub - aws/clock-bound: Used to generate and compare bounded timestamps.
ClockBound allows you to generate and compare bounded timestamps that include accumulated error as reported from the local chronyd process. On every request, ClockBound uses two pieces of information: the current time and the associated absolute error range, which is also known as the clock error bound. This means that the “true” time of a ClockBound timestamp is within a set range. Using ClockBou
NoSQLのテクニックが書いてある「Advanced Data Modeling With Firestore by Example」を翻訳してみた - くらげになりたい。
オリジナルの記事は、こちら。 Advanced Data Modeling With Firestore by Example | AngularFirebase NoSQLのデータ構造や設計について、いろんな事例が書いてあってすてきだったので、 Google翻訳で翻訳した(´ω｀) 翻訳精度すごい。。 ちょっと整理した記事はこちら www.memory-lovers.blog Advanced Techniques in NoSQL Duplication: 複製 データ複製は、複数のDocumentを参照する必要性を排除するための非常に一般的な手法です。 簡単な例 ユーザードキュメントに対して二次クエリを行わないようにするために、 すべてのツイートドキュメントにユーザー名を複製または埋め込むことがあります。 または、ユーザープロフィールに表示するために、ユーザーDocumentに最近の
Distributed transaction patterns for microservices compared | Red Hat Developer
As a consulting architect at Red Hat, I've had the privilege of working on legions of customer projects. Every customer brings their own challenges but I've found some commonalities. One thing most customers want to know is how to coordinate writes to more than one system of record. Answering this question typically involves a long explanation of dual writes, distributed transactions, modern alter
How my distributed team communicates so no context is left behind
How my distributed team communicates so no context is left behind My team at CircleCI is made up of seven engineers, a product manager, a designer, and an engineering manager, and we are distributed all across the world: in the US from West Coast to East Coast, then to Serbia, Thailand, and finally Japan. Usually, we’re based in places like San Francisco, Chandler, Tempe, Boulder, Knoxville, Novi
No more DSLs: Implement and deploy a distributed system with a single program
No more DSLs: Implement and deploy a distributed system with a single program If you want to write a distributed system, then instead of writing a thousand different programs and configuration files in many different DSLs, you can use an approach I call "single-program systems", and write just one program. In this article, I describe how we do this at $DAYJOB, and I show some example programs. The
データ分散アルゴリズムASURAの実装
最近、 仕事がピリっとしないからか、 趣味で分散ストレージでも作ってみようかなぁと思って色々と思考を巡らしている。 分散ストレージには大きく分けて２つの実装がある（と思う）。 １つは、どのデータがどこにあるかなどのメタデータを持つメタデータサーバを 保持し、そのメタデータサーバを参照・更新しながらレプリケーションや、ピースの分散を行うというタイプのもの。 もしこれをやるのであれば、メタデータはTiKVを使おうかなと考えていた。 TiKVはRustで実装された分散KVSだが、 レプリケーションを行う単位をRaftグループとして、これを複数持つMulti-Raftという構成をとっている。 外にはプレースメントドライバというプロセスがデータや負荷の分散具合を監視し、 必要に応じてマイグレーションを行っているらしい。 Raftを使っていれば、マイグレーションは簡単だろうと想像する。 もう１つは、そ
Yoshimasa Niwa on Twitter: "圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE"
圧縮したSQLiteのファイルをS3にいれて、Lambdaで検索してPostgresに返してアグリゲートすると安くて速いデータウェアハウスが作れる、という話。 https://t.co/5AVNdb1gzE
Hive Distributed Profiling System in Treasure Data - Japanese version #tdtechtalk
『Hive Distributed Profiling System in Treasure Data』の日本語版スライド。 English version -> https://speakerdeck.com/okumin/hive-distributed-profiling-system-in-treasure-data-english-version-number-tdtechtalk TreasureData Tech Talk 2022にて発表 https://techplay.jp/event/879660
データベースの値の変更をリアルタイムに取得したい時ありますよね。例えばチャットのメッセージとか何かのログとか。 そのときに便利なのがFirebase Realtime Databaseです。 無料でも利用できて、データベースの値に追加があったり変更があったらそれを受け取ることができるNoSQLなデータベースです。 今回私は研究プロジェクトの関係で大量のリクエストが発生する問題がありました。 Firebaseだと保存容量が無料枠に収まらない可能性もあり、もともとログ保存用に立っていたMongoDBサーバーでリアルタイムに値を取れないか試してみました。 Change Streamsを使う Change Streams MongoDB3.6以降の機能にChange Streamsというものがあります。 これはデータベースに追加された値をストリームで受け取れる機能です。 以下のような簡単なコードで
The etcd key-value store is a distributed database based on the Raft consensus algorithm. In our 2014 analysis, we found that etcd 0.4.1 exhibited stale reads by default. We returned to etcd, now at version 3.4.3, to investigate its safety properties in detail. We found that key-value operations appear to be strict serializable, and that watches deliver every change to a key in order. However, etc
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
GitHub - bigscience-workshop/petals: 🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
🌸 Run 100B+ language models at home, BitTorrent-style. Fine-tuning and inference up to 10x faster than offloading
12-3章では確率変数の期待値について、12-5章では確率変数の分散について学びました。この章では、2つの確率変数の和、差、共分散、相関係数について学びます。 ■2つの確率変数の期待値 2つの確率変数とYの和、差の期待値は、次に示すように、それぞれの期待値、の和、差に等しくなります。
GitHub - ballista-compute/ballista: Distributed compute platform implemented in Rust, and powered by Apache Arrow.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - richardartoul/tsdb-layer: Time Series and FoundationDB. Millions of writes/s and 10x compression in under 2,000 lines of Go.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
背景・目的 AWSが2023年9月26日にAmazon DynamoDB(DDB)からAmazon S3(S3)へのインクリメンタルエクスポート機能を発表いたしました。この新機能により、どのようにデータ管理が変わるか、実際に手を動かしながら基本的な挙動を確認してみます。 まとめ AWSの増分エクスポート機能により、挿入、更新、または削除されたデータを少量ずつエクスポートでき、数メガバイトからテラバイトのデータ範囲に対応しています。 ポイントインタイムリカバリが有効なDDBテーブルが対象です。 指定した期間の増分データをS3バケットにエクスポートします。 この機能はフルマネージドであり、DDBの容量を消費せず、定期的なデータ更新が容易になります。 サポートされているデータ形式はDynamoDB JSONとAmazon Ionです。 これにより、テーブル全体を毎回エクスポートする必要がなく、変
ABCI上でpytorch distributed data parallelによるマルチノード学習 - Qiita
なんの記事? pytorchのDistributedDataParallelについての日本語記事があまりにもなかったため，素人がまとめました． 並列処理がわからない人による，わからない人のための，とりあえず使えればいいや的なDDPの解説です． 基本的にABCIでの実行を前提に書かれていますが，それ以外の環境の人たちにも参考になれば幸いです． はじめに おなじみの機械学習フレームワークであるpytorch．気軽にDataParallelで並列処理の学習もできます． ですがfacebookなどの一流の機械学習エンジニアたちはDistributedDataParallelなるものを使った実装がちらほらみられます． そこでpytorchの解説記事を読むわけですが，これがびっくりするほどわからない． というわけで，ABCI上でのDistributedDataParallel(以下DDP)の使い方を自
InfluxDBへデータを登録する
かっこいい名前のInfluxDB、時系列(time series)データベースとして人気のようです。もちろん各種認証でアクセス制限をかけることができますが、HTTP APIを持っており特に作りこまなくてもデータを転送できるという手軽さがあります。そして速い（個人の感想です）。 今回はPython3とPowerShellでデータを投入するためのクライアントを作成してみます。InfluxDBのインストールは別記事で。検証環境はWindows 10 Pro + Python 3.6です。 もくじ： InfluxDBの基本的な使い方 PythonでのInfluxDBクライアントモジュール InfluxDBClientオブジェクト データベースの作成 データの投入 情報の表示 Seriesの表示 HTTP API Line Protocol サンプル PowerShellでHTTP APIを呼び出す
NoSQLってなに？ Alibaba Cloud、AWS、Azure、Google CloudのNoSQLサービスを比べてみました | クラウドテクノロジーブログ | ソフトバンク
<span class=\"biz-smb-block\"><b>ビジネスに役立つ情報をメールでお届けします（無料） <br>\r\n </b><span class=\"biz-smb-fs-m2\">企業もしくは官公庁など、組織団体に所属している方を対象としています。</span></span></p>\r\n"}}" id="text-01c8049936" class="cmp-text"> ビジネスに役立つ情報をメールでお届けします（無料） 企業もしくは官公庁など、組織団体に所属している方を対象としています。
コラム - グーグルのクラウドを支えるテクノロジー | 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1）｜CTC教育サービス 研修/トレーニング
[IT研修]注目キーワード Python UiPath(RPA) 最新技術動向 Microsoft Azure Docker Kubernetes 第64回 サーチエンジンのロードバランシング・アルゴリズム（パート1） (中井悦司) 2019年8月 はじめに 今回からは、2019年に公開された論文「Cache-aware load balancing of data center applications」を元にして、サーチエンジンのロードバランシングに関するアルゴリズムを紹介します。検索対象の単語ごとに担当するサーバーを分けて、サーバー内部のキャッシュのヒット率を高めるというシンプルなアイデアですが、複数の単語を含む検索文に適用するには、すこしばかり数学的な考え方が必要になります。今回は、具体的なアルゴリズムを説明する準備として、システム全体のアーキテクチャーを整理しておきます。 サーチ
GitHub - jointwt/twtxt: 📕 twtxt is a Self-Hosted, Twitter™-like Decentralised microBlogging platform. No ads, no tracking, your content, your data!
📕 twtxt is a Self-Hosted, Twitter™-like Decentralised micro-Blogging platform. No ads, no tracking, your content, your data! Technically twtxt is a multi-user twtxt client in the form of a web app and api. It supports multiple users and also hosts user feeds directly and provides a familiar "social" experience with minimal user profiles. It also supports "rich" text by utilising Markdown as well
Connect thousands of apps and integrations for all your Atlassian products
[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO
Apache Kafkaとは Apache Kafkaとは、Linkedinが開発した分散メッセージキューで、 データストリーミング用のプラットフォームです。 メッセージキューとは、システム間でデータのハブととして機能し、 対象データを一時的に保持してくコンポーネントです。 キューをはさむことでシステム間を疎結合にし、通信を非同期化することができます。 AWSでいえば、sqsやkinesisが同様のサービスにあたります。 Apache Kafkaはスケーラビリティや大量データの扱いに長けており、耐障害性もあるスグレモノです。 本稿ではApache Kakfaとnode.js用モジュールのkafka-nodeとkafka-streamsをつかって node.jsからkafkaへアクセスしてみます。 Amazon Kinesisとの比較 以前はAWSフルマネージド(kinesis)かどうか、と
![[Apache Kafka] Kafka StreamsでStream処理をしてみる [node.js] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/b07b7c6bbbd77094a43e44f45030ff3684657c12/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F07%2Fapache-kafka.png)
Remote Work Statistics
Remote Work Statistics Statistics about remote work from 2498 companies working remotely in 3200 cities across 131 countries. Most countries Meet the TOP 10 distributed companies with employees coming from most countries.
Dive deep into security management: The Data on EKS Platform | Amazon Web Services
AWS Big Data Blog Dive deep into security management: The Data on EKS Platform The construction of big data applications based on open source software has become increasingly uncomplicated since the advent of projects like Data on EKS, an open source project from AWS to provide blueprints for building data and machine learning (ML) applications on Amazon Elastic Kubernetes Service (Amazon EKS). In
Elasticsearchが広く普及した理由の1つは、数ノードの小規模なクラスターから数百ノードの大規模なクラスターへの拡張性が優れていることです。その中心にあるのが、クラスターコーディネーションサブシステムです。Elasticsearchバージョン7は、新たなクラスターコーディネーションサブシステムを備えており、これまでのバージョンと比べて多くの利点があります。この記事では、バージョン7においてこの新しいサブシステムに加えられた改善点について紹介し、その使い方、今回の変更がバージョン6からのアップグレードに与える影響、誤ってデータをリスクにさらしてしまうことを防ぐ新たな機能について説明します。そして最後に、新しいサブシステムの仕組みを説明する理論の概要を提示します。 クラスターコーディネーションとは Elasticsearchクラスターを使用すると、多数のノードの連携を必要とするさまざま
mvSQLite is the open-source, SQLite-compatible distributed database. We decoupled SQLite's storage layer onto FoundationDB to offer massive yet "bottomless" scalability, point-in-time reads, and the strictest level of consistency. On the surfaceThere are already so many nice "multi-machine" SQLite flavors: rqlite, dqlite, and Litestream. However I believe what mvSQLite offers is unique: it is not
Slides from a talk given at Nutanix on Mar 21, 2018Read less
Summary statistics such as the mean and variance are easily maintained for large, distributed data streams, but order statistics (i.e., sample quantiles) can only be approximately summarized. There is extensive literature on maintaining quantile sketches where the emphasis has been on bounding the rank error of the sketch while using little memory. Unfortunately, rank error guarantees do not precl
現実の例を使用したデータをモデル化しパーティション分割する - Azure Cosmos DB for NoSQL
適用対象: NoSQL この記事では、データ モデリング、パーティション分割、プロビジョニング済みスループットなどの Azure Cosmos DB のいくつかの概念を基にして、現実世界のデータ設計に取り組む方法を示します。 通常、リレーショナル データベースで作業している場合は、データ モデルの設計方法についての習慣や直感が築かれているはずです。 Azure Cosmos DB に固有の制約のため (それは Azure Cosmos DB だけが持つ長所でもありますが)、それらのベスト プラクティスのほとんどはうまく流用できず、次善のソリューションになってしまうことがあります。 この記事の目的は、項目のモデリングからエンティティのコロケーションやコンテナーのパーティション分割まで、Azure Cosmos DB で現実のユース ケースをモデル化する完全なプロセスの手順を示すことです。 こ
GitHub - bastion-rs/bastion: Highly-available Distributed Fault-tolerant Runtime
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
ブロックチェーンにコンソーシアムは是か？否か？ - 快傑Ｚの仮想通貨を投資以外で消耗してます！
分散KVS「etcd」の環境を世界最速で構築！！ | SIOS Tech. Lab
プロダクション向けRook/Cephクラスタ構築への道
MetaがマルチモーダルAIアルゴリズムのdata2vecをオープンソース化
firebaseだけじゃない。MongoDBで更新された値をリアルタイムに取得する方法 - Qiita
Jepsen: etcd 3.4.3
Grafanaが分散トレースシステムGrafana Tempoを発表
15-6. 2変数の期待値と分散 | 統計学の時間 | 統計WEB
DynamoDB の S3への増分エクスポートを試してみた - Qiita
Compass | Developer Experience Platform
新世代Elasticsearchクラスターコーディネーション
Turning SQLite into a distributed database
Cloud arch patterns
DDSketch: A fast and fully-mergeable quantile sketch with relative-error guarantees