タグ検索の該当結果が少ないため、タイトル検索結果を表示しています。
こんにちは ハタ です。 Mirrativのインフラ内で実際に開発・運用している内製のRedisサーバについてお話したいなと思っています。 前回の記事 は、今回紹介する内製Redisサーバで起きたメモリリーク対策に関するお話しとなっておりますので、もし未読であればあわせて読んでいただければと思います。 今回はなぜ Redis サーバを内製することにしたのかの経緯や実装についての簡単な紹介が出来たらなと思っています Redis 導入の経緯 課題感: 揮発しないでほしい 課題感: 生存時間が短いデータを保持したい 課題感: 日次データをなんとかしたい 候補 Redis Cluster のヨシアシ: slot 管理 Dynomite のヨシアシ: sharding/replication radisha = Raft + Redis + HA Raft クラスタ コマンドとデータストア レプリケ
RDBMSの先を行く？NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか？ 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう！ NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース界へ何を投げ込んだのでしょうか。 NewSQLには以下のような特徴があります。 SQL-Likeなクエリ言語のサポート 強い整合性 ACIDサポートのトランザクション NewSQLの有名所であるCoc
はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この
Raft は Byzantine 障害に対する耐性がなく、論文を一見して恒久的なリーダーの乗っ取りからのログの改ざん、リーダー選挙の妨害などが可能であるところを見ても、P2P ではなく完全に管理されたネットワーク向けの合意アルゴリズム (CFT; Crash Fault-Tolerance) です。Byzantine 障害耐性が必要であれば Raft ではなくパフォーマンスを犠牲にして pBFT などを使う必要があるでしょう。 論文では Crash-Recovery より深刻な障害耐性には言及していないが (論説の範囲を外れるため当然だが)、もし実際に Raft を実装するなら現実的に想定される障害に対して工夫できる余地もいくつか存在します。例えば「テスト環境で使用していたノードの 1 つが事故で本番クラスタに『も』参加してしまった」といったような運用事故で起きうる障害は (大抵そのような
RAGにおいてLLMが「役立たない情報を無視」できるようにする『RAFT』QAタスクで従来の手法を大幅に上回る結果を達成 | AIDB
背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学
Steamイカダ漂流サバイバル『Raft』“史上最大大型アプデ”配信でついに正式リリース。物語は刷新して完結、要素山盛りで完成 - AUTOMATON
パブリッシャーのAxolot GamesとデベロッパーのRedbeet Interactiveは6月21日、『Raft』をSteamにて正式リリースした。早期アクセス配信から4年。同作における史上最大のアップデートが実施され物語が完結すると共に、正式リリースを果たした。正式リリースを記念して15%オフのセールが実施されている。 『Raft』は、イカダに乗って大海原を漂流し、徐々にイカダを拡張していく一人称視点のサバイバルゲームだ。流れてくる漂流ゴミを回収してクラフト資材を集め、釣り道具や浄水器をこしらえて食料・飲み水を確保する。ときおり流れつく設計図から新しい設備のクラフト方法を学べば、帆を立てて錨を備えたり、農園付きの海上要塞を築いたりすることも可能。食料を狙うカモメやイカダを壊すサメといった生き物とバトルしつつ、時に島に上陸。難破船や海底遺跡、無人島といったランドマークを巡っていく。
Implementing Raft: Part 0 - Introduction - Eli Bendersky's website
This is the first post in a multi-part series describing the Raft distributed consensus algorithm and its complete implementation in Go. Here is a complete list: Part 0: Introduction (this post) Part 1: Elections Part 2: Commands and log replication Part 3: Persistence and optimizations Raft is a relatively new algorithm (2014), but it's already being used quite a bit in industry. The best known e
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
Raft
Building a large-scale distributed storage system based on Raft | Cloud Native Computing Foundation
Guest post by Edward Huang, Co-founder & CTO of PingCAP In recent years, building a large-scale distributed storage system has become a hot topic. Distributed consensus algorithms like Paxos and Raft are the focus of many technical articles. But those articles tend to be introductory, describing the basics of the algorithm and log replication. They seldom cover how to build a large-scale distribut
Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain su
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) Abstract Raft は複製されたログを管理するためのコンセンサスアルゴリズムである。これは (Multi-) Paxosと同等の結果を生み出し Paxos と同程度に効率的だが、その構造は Paxos とは異なる; Raft によって Paxos よりも理解しやすく実用的なシステムを構築するためのより良い基盤が提供される。わかりやすさを高めるために Raft はリーダー選挙、ログ複製、安全性といった合意の重要な要素を分離し、考慮すべき状態の数を減らすためにより強力な一貫性を強制する。ユーザ調査の結果から Raft は Paxos よりも習得しやすいことを示している。Raft にはクラスタメンバーシップを変更するための新しいメカニズム
物理カード「PassCard」を使えば、複雑なパスワードを何パターン作っても、忘れることなく安全に管理できる!
Implementing the Raft distributed consensus protocol in Go | notes.eatonphil.com
As part of bringing myself up-to-speed after joining TigerBeetle, I wanted some background on how distributed consensus and replicated state machines protocols work. TigerBeetle uses Viewstamped Replication. But I wanted to understand all popular protocols and I decided to start with Raft. We'll implement two key components of Raft in this post (leader election and log replication). Around 1k line
Raft Engine: a Log-Structured Embedded Storage Engine for Multi-Raft Logs in TiKV
InfoQ Software Architects' Newsletter A monthly overview of things you need to know as an architect or aspiring architects. View an example
Redis is a popular in-memory data structure server. Historically, Redis has supported a number of ad hoc replication mechanisms, but none guaranteed stronger than causal consistency. Redis-Raft aims to bring strict serializability to Redis by means of the Raft consensus algorithm. We found twenty-one issues in development builds of Redis-Raft, including partial unavailability in healthy clusters,
背景 Log Matching Property の証明 データ構造と述語の定義 AppendEntries 関数の性質 leader の log に関する性質 Log Matching Property の証明 参考資料 背景 分散合意アルゴリズム Raft は kubernetes のクラスターの構成情報を保存する etcd の内部で使われておりお世話になっている方も多いアルゴリズムだと思います。 この記事では Raft の満たす重要な性質である Log Matching Property について証明します。 元々、『Raft を TLA+ で検証する』というタイトルの記事を書こうと考えて Raft の考案者 Diego Ongaro の博士論文を読み始めました（その記事は後日公開予定です）。 アルゴリズムは論文の 3 章に書かれているのですが、そこで Raft が常に成り立つことを
A minimal distributed key-value database with Hashicorp's Raft library | notes.eatonphil.com
A minimal distributed key-value database with Hashicorp's Raft library When I wrote the "build a distributed PostgreSQL proof of concept" post I first had to figure out how to use Hashicorp's Raft implementation. There weren't any examples I could find in the Hashicorp repo itself. And the only example I could find was Philip O'Toole's hraftd. It's great! However, I have a hard time following mult
2020/06/24 に公開された「Multi-Raft — Boost up write performance for Apache Hadoop-Ozone」の翻訳です。 関連リンク Apache Hadoop Ozone: Apache Hadoop 用のオブジェクトストアの紹介 Apache Hadoop Ozone: オブジェクトストアの概要 Apache Hadoop Ozone — オブジェクトストアのアーキテクチャー Ozoneのベンチマーク: CDP用Clouderaの次世代ストレージ Apache Hadoop Ozone セキュリティ — 認証 この記事は、Li Cheng, Software Engineer, Tencent Inc.による寄稿です 本番環境で Hadoop-Ozone を利用するApache Hadoop Ozone は、ビッグデータプラットフ
Clique PoA, IBFT, Raftの違いと選び方
はじめに QuorumではClique PoA, IBFT, Raftの三種類のコンセンサスアルゴリズムが用意されています。 目的に沿った一番良いアルゴリズムを選びたいところですが、公式ドキュメントでは詳細の仕組みや選び方などが説明されていません。 この記事では、Quorumで選択できるコンセンサスアルゴリズムに関してそれぞれの仕組みや性能差・特徴をまとめて解説しました。 難しいトピックとなるので、結論だけ把握したい方はそれぞれのアルゴリズムのサマリとなるポイントと最後の比較表だけ見てください。 ＜参考記事＞ https://kaleido.io/consensus-algorithms-poa-ibft-or-raft/ https://docs.goquorum.com/en/latest/Consensus/Consensus/ Clique PoA(Proof Of Authori
Consensus algorithms is a topic that always caught my attention: it is complex and hard and needs a precise and safe solution. In other words: We have a couple of machines forming a cluster, and they operate on identical copies of the same data and can continue operating even in the scenario of some servers being down. This approach is used to solve a bunch of problems in distributed systems. To g
GitHub - RedisLabs/redisraft: A Redis Module that make it possible to create a consistent Raft cluster from multiple Redis instances.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
ひと夏の豊かな自然に触発され、自らの関心や才能に気づいていく少年を描いた絵本、『The Raft』のご紹介 - タドキストによる英語多読ブログ
こんにちは！ お立ち寄りいただき、ありがとうございます。 今回は、ひと夏の豊かな自然に触発され、自らの関心や才能に気づいていく少年を描いた英語絵本をご紹介させていただきます。 本について 本の内容のご紹介 最後に 本について 今回ご紹介する絵本は、カリフォルニアに在住のイラストレーターのJim LaMarcheさんが文とイラストを手掛けた絵本、『The Raft』です。 情緒を誘う表紙が印象的ですね。 YL 2.6～3.0程度 語数は1,892語 Lexile: AD650Lの本です。 The Raft 作者:LaMarche, Jim HarperCollins Amazon Jim LaMarche 本の内容のご紹介 少年Nickyは、ウィスコンシンの森に中に暮らす祖母とひと夏を過ごすことになった。 一緒に遊ぶ友人もいなく、テレビも持たずに自然の中で暮らす祖母とのひと夏の生活を想像す
I try to keep a vague list of "technologies to try out" handy at all times. Usually things come and go from the list pretty quickly, but I've had a few that have been stubbornly persistent for quite a while now: Rust (at least for a big project)The Raft algorithmWebAssemblyWebRTCAt some point, I had a bright idea: "Why not knock out a bunch of them at once?" And thus WRaft was born. It's a Raft im
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Raft + Redis な内製Redisサーバの紹介 - Mirrativ Tech Blog
分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
分散合意アルゴリズム Raft を理解する - Qiita
![[みんなのケータイ]そろそろ何とかして欲しい、おサイフケータイの初期化](https://cdn-ak-scissors.b.st-hatena.com/image/square/2e57bb8b64219fe44091a2bc5d584dd618f55169/height=288;version=1;width=512/https%3A%2F%2Fk-tai.watch.impress.co.jp%2Fimg%2Fktw%2Flist%2F1591%2F477%2F2k.jpg)
[論文紹介] TiDB:a Raft-based HTAP database
RAFT: Adapting Language Model to Domain Specific RAG
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) - MOXBOX #Raft
メール処理を効率的にする「RAFTテクニック」とは？ | ライフハッカー・ジャパン
Jepsen: Redis-Raft 1b3fbf6
A Proof for Log Matching Property of Raft - 俺の Colimit を越えてゆけ
Multi-Raft: Apache Hadoop Ozoneの書き込みパフォーマンスを加速する
Implementing Raft's Leader Election in Rust
Implementing Raft for Browsers with Rust and WebRTC
anond.hatelabo.jp
mainichi.jp
www.asahi.com
koubodatabase.com
kaiun-kigyojyuku.com
www.nintendo.com