こんにちは ハタ です。 Mirrativのインフラ内で実際に開発・運用している内製のRedisサーバについてお話したいなと思っています。 前回の記事 は、今回紹介する内製Redisサーバで起きたメモリリーク対策に関するお話しとなっておりますので、もし未読であればあわせて読んでいただければと思います。 今回はなぜ Redis サーバを内製することにしたのかの経緯や実装についての簡単な紹介が出来たらなと思っています Redis 導入の経緯 課題感: 揮発しないでほしい 課題感: 生存時間が短いデータを保持したい 課題感: 日次データをなんとかしたい 候補 Redis Cluster のヨシアシ: slot 管理 Dynomite のヨシアシ: sharding/replication radisha = Raft + Redis + HA Raft クラスタ コマンドとデータストア レプリケ
Raft
Grafana LokiではじめるKubernetesロギングハンズオン（NTT Tech Conference #4 ハンズオン資料）NTT DATA Technology & Innovation
Raft(分散合意アルゴリズム)について
Raftについて Raftという分散合意アルゴリズムの紹介 論文: In Search of an Understandable Consensus ALgorithm (Extended Version) 注意 Raft三日目くらいの人が自分の理解をもとに(適当に)書いています いつも通り用語の使い方は怪しい Raftと分散合意のどちらも特別詳しい訳ではないので、ちゃんと知りたい人は上記論文や他の説明を参照することを推奨します Raftって何？ ざっくりと 分散合意アルゴリズム Paxos(おそらく有名な分散合意アルゴリズム)の改良版的な位置づけ(?) 機能追加や性能向上ではなく__理解可能性__の改善 etcdというCoreOS/Dockerをクラスタ化するためのツールで採用されているのが有名？ 詳しくは知らないですが... 分散合意アルゴリズム クラスタ内の全サーバに一貫性のあるステ
RDBMSの先を行く？NewSQLを支えるアルゴリズムRaftをGoで紐解く - カミナシ エンジニアブログ
初めまして。株式会社カミナシPMの@gtongy1です。 みなさんはNewSQLをご存知ですか？ 強い整合性を持つ分散型のSQLデータベースサービスのことをNewSQLと呼びます。 RDBMSではなし得なかった分散アーキテクチャを、またNoSQLではなし得なかった強い整合性をいいとこ取りした新しいSQLデータベースサービスです。 なんかとても理想的な仕組みに見えますね。この裏にはどのような知識が詰め込まれているのでしょうか。 今回はそんなNewSQLを支える仕組みを一緒に紐解いていきましょう！ NewSQLが乗り越えた壁 どんな仕組みが動いているのか、の前にNewSQLはこのSQLデータベース界へ何を投げ込んだのでしょうか。 NewSQLには以下のような特徴があります。 SQL-Likeなクエリ言語のサポート 強い整合性 ACIDサポートのトランザクション NewSQLの有名所であるCoc
Raft Consensus Algorithm
What is Raft? Raft is a consensus algorithm that is designed to be easy to understand. It's equivalent to Paxos in fault-tolerance and performance. The difference is that it's decomposed into relatively independent subproblems, and it cleanly addresses all major pieces needed for practical systems. We hope Raft will make consensus available to a wider audience, and that this wider audience will be
はじめに 分散合意アルゴリズム Raft とは 分散合意アルゴリズムとは Raft の特徴 Raft が満たす性質 Election Safety Leader Append-Only Log Matching Leader Completeness State Machine Safety TLA+ とは TLA+ による Raft の形式的仕様 TLA+ による Raft の検証方法 TLA+ Toolbox のインストール 新規 Spec の作成 Model の作成と実行 補足: コマンドラインでの検証 Raft の拡張について Leadership Transfer Membership Change Log Compaction Client Interaction おわりに Raft 理解度を調べるクイズ 参考資料 Raft に関する資料 TLA+ に関する資料 はじめに この
前回の記事 sharply.hatenablog.com 本稿ではRaft, Bitcoinの Proof of Work, Proof of Stakeそれぞれのアルゴリズムについて説明する。 分散合意プロトコル Raft 難解であったPaxosより簡単であることを標榜しているアルゴリズムで、そこまで多くないノード数で、密結合なネットワークにおける分散合意が想定されており、Paxosではあまり触れられなかったリーダー選出手法についてはこちらの説明のほうが腑に落ちやすいと思う。実際にetcdなどで実装されており、ログレプリケーションなどで用いられる。 ここでは明確にプロセスは状態機械として扱われる。各リソース上のそれぞれのプロセスは本質的に平等であり、プロセスはLeader, Follower, Candidateの3stateのどれかを持つ。Leaderは交代する場合があり、それをter
tl;dr 分散合意プロトコルについてサーベイしたので、メモを残す。 2PC 3PC Paxos Raft(次回) Proof of Work(次回) Proof of Stake(次回) 分散システムについては素人の筆者が書いたため誤りが多いと思うので、できれば確認のため元論文を参照してもらいたいです。 introduction 基本的な定理, 用語 CAP定理: 分散システムは、一貫性 (Consistency)、可用性 (Availability)、分断耐性 (Partition-tolerance)のうち最大でもいずれか2つしか満たすことはできない。 レプリケーション: 一貫性を保ちながら、リソース間で情報を共有すること。 RPC: プログラムであるノードから別のノード上の関数を呼び出すこと。ここでは、ノードから別のノードにメッセージを送ることという理解でもたぶん大丈夫だと思う。
Raft は Byzantine 障害に対する耐性がなく、論文を一見して恒久的なリーダーの乗っ取りからのログの改ざん、リーダー選挙の妨害などが可能であるところを見ても、P2P ではなく完全に管理されたネットワーク向けの合意アルゴリズム (CFT; Crash Fault-Tolerance) です。Byzantine 障害耐性が必要であれば Raft ではなくパフォーマンスを犠牲にして pBFT などを使う必要があるでしょう。 論文では Crash-Recovery より深刻な障害耐性には言及していないが (論説の範囲を外れるため当然だが)、もし実際に Raft を実装するなら現実的に想定される障害に対して工夫できる余地もいくつか存在します。例えば「テスト環境で使用していたノードの 1 つが事故で本番クラスタに『も』参加してしまった」といったような運用事故で起きうる障害は (大抵そのような
Raft: The Understandable Distributed Consensus Protocol
Raft presentation at Strange Loop 2013. Video: http://www.infoq.com/presentations/raft This work is licensed under a Creative Commons Attribution 4.0 International License.
RAGにおいてLLMが「役立たない情報を無視」できるようにする『RAFT』QAタスクで従来の手法を大幅に上回る結果を達成 | AIDB
背景 LLMは、膨大な量の公開データで学習することにより、幅広い一般知識推論タスクで著しい進歩を遂げてきました。一方で、LLMが特定の分野のタスクに用いられる場合、一般的な知識推論よりも、与えられた文書に対して正確であることが強く求められています。例えば最新のニュースや企業の非公開文書などに適応させることは課題になっています。 LLMを特定分野に適応させる際、検索拡張生成（RAG）を用いたコンテキスト学習と、教師あり微調整（supervised fine-tuning）の2つの手法が主に考えられます。 RAGベースの手法は、LLMが質問に答える際に文書を参照するものです。この手法では、モデルが事前に学習しているわけではありません。外部のナレッジベースから関連情報を取得することで問題解決能力を向上する（比較的リーズナブルな）アプローチです。 教師あり微調整は、文書からより一般的なパターンを学
はじめに Raft Consensus Algorithm の論文 “In Search of an Understandable Consensus Algorithm” http://ramcloud.stanford.edu/raft.pdf について簡単に紹介する。 また、論文のついでに読んでおくと理解が捗ると思われる文献（スライド、ウェブサイト）も紹介する。 というのも先日、ふと システム系論文紹介 Advent Calendar 2014 という物を私が立ち上げてしまったので、言い出しっぺの自分が先陣を切らせてもらう。 とはいえ今回の論文紹介にじっくり時間をかけて取り組めなかったため、雑な紹介になってしまう点はご了承いただきたい。 12月6日（土）に開催される 第3回 システム系論文輪読会 – connpass もあるため、輪読の発表会に興味のある方は是非参加いただきたい。 R
GitHub - moby/swarmkit: A toolkit for orchestrating distributed systems at any scale. It includes primitives for node discovery, raft-based consensus, task scheduling and more.
SwarmKit is a toolkit for orchestrating distributed systems at any scale. It includes primitives for node discovery, raft-based consensus, task scheduling and more. Its main benefits are: Distributed: SwarmKit uses the Raft Consensus Algorithm in order to coordinate and does not rely on a single point of failure to perform decisions. Secure: Node communication and membership within a Swarm are sec
イカダで生活するサバイバルゲーム『Raft』のプロトタイプが公開中。漂流ゴミを漁りサメの脅威から身を守れ - AUTOMATON
手製のイカダに乗って海洋のど真ん中を漂流するサバイバルゲーム『Raft』。そのプロトタイプ版がitch.io（Windows/Mac/Linux）にて公開されている。見渡す限りの水平線、海面にちらつくサメの背びれ、手元に残されたのはロープに結びつけたフックのみ。そんなロマンあふれる設定もあってか、開発者のブログによると12月中旬に公開されてから一週間で10万ダウンロードを達成したという。 ゲームエンジンはUnity、購入価格はユーザが自由に指定できる“Name your own price”形式を採用。開発を手がけているのはスウェーデンのウプサラ大学に在籍する学生チームである。メンバーはSemih Paralayan氏、Ellen Mellåker氏、André Bengtsson氏の3人のみ。開発は2016年10月に開始したばかり。これらを踏まえると10万ダウンロードというのは快挙であろ
Steamイカダ漂流サバイバル『Raft』“史上最大大型アプデ”配信でついに正式リリース。物語は刷新して完結、要素山盛りで完成 - AUTOMATON
パブリッシャーのAxolot GamesとデベロッパーのRedbeet Interactiveは6月21日、『Raft』をSteamにて正式リリースした。早期アクセス配信から4年。同作における史上最大のアップデートが実施され物語が完結すると共に、正式リリースを果たした。正式リリースを記念して15%オフのセールが実施されている。 『Raft』は、イカダに乗って大海原を漂流し、徐々にイカダを拡張していく一人称視点のサバイバルゲームだ。流れてくる漂流ゴミを回収してクラフト資材を集め、釣り道具や浄水器をこしらえて食料・飲み水を確保する。ときおり流れつく設計図から新しい設備のクラフト方法を学べば、帆を立てて錨を備えたり、農園付きの海上要塞を築いたりすることも可能。食料を狙うカモメやイカダを壊すサメといった生き物とバトルしつつ、時に島に上陸。難破船や海底遺跡、無人島といったランドマークを巡っていく。
イカダ漂流サバイバル『Raft』5月23日にSteam早期アクセス販売へ。オンラインCo-op＆日本語対応予定 - AUTOMATON
ホーム ニュース イカダ漂流サバイバル『Raft』5月23日にSteam早期アクセス販売へ。オンラインCo-op＆日本語対応予定 スウェーデンのインディースタジオRedbeet Interactiveは4月6日、『Raft』のSteam早期アクセス販売を5月23日より開始することを発表した。対応プラットフォームはWindowsで、販売価格は19.99ドルを予定。対応言語には日本語も含まれている。 『Raft』はイカダで漂流生活を送る一人称視点のサバイバルゲーム。2016年12月、当時学生であった開発メンバーがitch.ioにて本作のプロトタイプを無料公開したところ、TwitchやYouTubeのゲーム実況配信者に取り上げられ、半年間で500万ダウンロードを達成。この反響を受け、製品版の開発が進められていた。 ※2017年9月に公開されたアナウンス・トレイラー 大海原のど真ん中で遭難したプレ
コンセンサスアルゴリズムというのをざっくり言うと、故障の発生し得るノードの集合が、整合性を持ったグループとして 1 つの値を決定する仕組みを指します。 wikipedia:en: Consensus (computer science) このアルゴリズムの具体的な例として、Paxos と Raft が挙げられます。 一方で Consul は、その一部に Raft を使っている こともあり、今日はこの Raft を追ってみました。 Raft の論文は、Raft: In search of an Understandable Consensus Algorithm になります。 ちなみにですが、概要の概要だけ掴みたいっていう人は、以下のサイトで Step by Step で追っていくのも良いかなと思います。 Raft Paxos との関係 Raft のアルゴリズム リーダー選出 ログレプリケー
Implementing Raft: Part 0 - Introduction - Eli Bendersky's website
This is the first post in a multi-part series describing the Raft distributed consensus algorithm and its complete implementation in Go. Here is a complete list: Part 0: Introduction (this post) Part 1: Elections Part 2: Commands and log replication Part 3: Persistence and optimizations Raft is a relatively new algorithm (2014), but it's already being used quite a bit in industry. The best known e
半年で500万DLを達成したイカダ生活サバイバル『Raft』2018年に早期アクセス販売へ。オンラインCo-opにも対応 - AUTOMATON
スウェーデンのインディーデベロッパーRedbeet Interactiveは9月5日、『Raft』の早期アクセス販売を2018年に開始する旨を発表した。Steamのストアページは公開済みで、対象プラットフォームはWindows。パブリッシングはAxolot Gamesが担当する。 本作は2016年12月、itch.ioにてプロトタイプが無料公開された1人称視点のイカダ生活サバイバルゲーム。スウェーデンにあるウプサラ大学の学生3人が学業の合間に始動させたプロジェクトである。プロトタイプの開発期間は4か月足らずと短いながらも、公開後半年間で500万ダウンロードを達成している。この大きな反響を受け、3人は大学卒業後も『Raft』の開発を継続。進捗具合は公式ブログにてこまめに伝えられている。以下の最新トレイラーからも、プロト版から大幅に進化を遂げていることが窺える。 『Raft』はイカダで遭難生活
今回はTiDB（PingCAP） 久しぶりに論文紹介シリーズの第2弾である。 今回は分散DBのど真ん中、PingCAPが開発しているTiDBについての論文「TiDB:a Raft-based HTAP database」(VLDB2020)を紹介する。 この論文に関しては、PingCAP社が自身のブログでも解説している。 TiDBとは 念のため、TiDBとは何なのかを触れておこう。 一言でいうと、「MySQL互換のNewSQL（＝分散SQLデータベース）」である。 NewSQLとは何かについての説明は今回記事では省略するが、過去に書いたこちらの入門編やこちらの詳解編に解説をしている。 TiDBはMySQLと互換性を持つだけでなく、、今回の論文に示されているように、OLAP用途の機能強化を行っており、これもまたMySQLの弱点を補強する良い方向性と言える。この辺りのNewSQLの機能強化につ
![[論文紹介] TiDB:a Raft-based HTAP database](https://cdn-ak-scissors.b.st-hatena.com/image/square/ad5d7368b8594081fe926e56f2548a5f3b50af26/height=288;version=1;width=512/https%3A%2F%2Fres.cloudinary.com%2Fzenn%2Fimage%2Fupload%2Fs--LwEg5Sy_--%2Fc_fit%252Cg_north_west%252Cl_text%3Anotosansjp-medium.otf_55%3A%25255B%2525E8%2525AB%252596%2525E6%252596%252587%2525E7%2525B4%2525B9%2525E4%2525BB%25258B%25255D%252520TiDB%25253Aa%252520Raft-based%252520HTAP%252520database%252Cw_1010%252Cx_90%252Cy_100%2Fg_south_west%252Cl_text%3Anotosansjp-medium.otf_37%3A%2525E3%252581%252593%2525E3%252581%2525B0%252Cx_203%252Cy_121%2Fg_south_west%252Ch_90%252Cl_fetch%3AaHR0cHM6Ly9zdG9yYWdlLmdvb2dsZWFwaXMuY29tL3plbm4tdXNlci11cGxvYWQvYXZhdGFyLzVmM2YwZjM3ZjguanBlZw%3D%3D%252Cr_max%252Cw_90%252Cx_87%252Cy_95%2Fv1627283836%2Fdefault%2Fog-base-w1200-v2.png)
GitHub - goraft/raft: UNMAINTAINED: A Go implementation of the Raft distributed consensus protocol.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Easy Development of Your Own Chatbot with Flask and Fine-Tuned GPT Model - PyConThailand2023
Raft - Kubernetes(etcd)のHA構成はなぜ3台以上？ | TECHSCORE BLOG | TECHSCORE BLOG
こんにちは。松本です。 Kubernetes コントロールプレーンの HA(High Available) 構成は二通りありますが、公式ドキュメント内に次のような記述があり、いずれの方式でも 3 台以上のマシンでクラスターを構成することが求められています。 For both methods you need this infrastructure: Three machines that meet kubeadm’s minimum requirements for the masters （中略） For the external etcd cluster only, you also need: Three additional machines for etcd members この、最小が "three" である必要性は、どこからくる制約なのでしょうか。"two" じゃだめなのでし
PS : Modified from Docker asset sry!Docker 1.12 uses a Raft consensus. Huh? Raft? I never heard of it so to blow my mind I did googling around to know more about it and note it here for later reference. Here’s what I found… Raft in Manager NodeThis flow made many existing stack suddenly “dead”. Sorry to say but what is more faster and simpler is my things so I’m all bet in this one! http://www.sli
GitHub - tidwall/summitdb: In-memory NoSQL database with ACID transactions, Raft consensus, and Redis API
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
漂流サバイバル『Raft』Steam早期アクセス販売開始。自分だけのイカダを組み立てて無人島を巡る、日本語対応でCo-opも可能 - AUTOMATON
ホーム ニュース 漂流サバイバル『Raft』Steam早期アクセス販売開始。自分だけのイカダを組み立てて無人島を巡る、日本語対応でCo-opも可能 Redbeet Interactiveは5月24日、イカダ漂流サバイバル『Raft』の早期アクセス販売をSteamにて開始した。対応プラットフォームはWindowsで、販売価格は1980円。日本語インターフェイスにも対応している。『Raft』は、大海原を漂流しながら命綱であるイカダを拡張していく一人称視点のサバイバルゲーム。開発を担当しているのはスウェーデンの若きデベロッパー3人組である。大学時代に開発を始め、2016年12月にitch.ioにてプロト版を無料公開したところ、半年間で500万ダウンロードを記録した。 プレイヤーが操作するのはイカダに乗って海を漂う遭難者。どこからともなく流れてくる漂流ゴミを、フック付きのロープで手繰り寄せてクラフ
GitHub - hashicorp/raft: Golang implementation of the Raft consensus protocol
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Raft
SQLite is a “self-contained, serverless, zero-configuration, transactional SQL database engine”. However, it doesn’t come with replication built in, so if you want to store mission-critical data in it, you better back it up. The usual approach is to continually copy the SQLite file on every change. I wanted SQLite, I wanted it distributed, and I really wanted a more elegant solution for replicati
Building a large-scale distributed storage system based on Raft
Guest post by Edward Huang, Co-founder & CTO of PingCAP In recent years, building a large-scale distributed storage system has become a hot topic. Distributed consensus algorithms like Paxos and Raft are the focus of many technical articles. But those articles tend to be introductory, describing the basics of the algorithm and log replication. They seldom cover how to build a large-scale distribut
Sustainable Security Requirements with the ASVS Josh Grossman provides a brief overview of what the ASVS is, but takes a closer look at balancing trade-offs and prioritizing different security requirements. Josh shares how to make the process repeatable and how to implement it as part of your own organization's requirements process.
ゲーム実況動画をテーマとするYouTubeチャンネルネットワーク“ファミ通×電撃ゲーム実況エクストリーム”から、10月23日～29日における個性が光るオススメ動画と再生数が上位の動画を紹介します。 今週のイチオシ動画ピックアップ（集計期間：10月23日～29日） 動画1：DAY.1 実況『Raft』サバイバル経験ゼロのおっさんがイカダの上で生活するとこうなる 【チャンネル】OZASHIKI RACER CHANNEL “キット”さんがサバイバルクラフトゲーム『Raft』を実況するシリーズ第1弾です。本作は海上を舞台にした『マインクラフト』のような内容で、イカダに乗りつつ漂流物を集めて拠点を拡張していくのが目的です。 ゲームオーバーになると最初からやり直しというシステムが、プレイに緊張感を与えているのも見どころの1つとなっています。少しずつ快適になっていく海上生活から目が離せません！ 動画2
Pretraining Large Language Models (LLMs) on large corpora of textual data is now a standard paradigm. When using these LLMs for many downstream applications, it is common to additionally bake in new knowledge (e.g., time-critical news, or private domain knowledge) into the pretrained model either through RAG-based-prompting, or fine-tuning. However, the optimal methodology for the model to gain su
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) Abstract Raft は複製されたログを管理するためのコンセンサスアルゴリズムである。これは (Multi-) Paxosと同等の結果を生み出し Paxos と同程度に効率的だが、その構造は Paxos とは異なる; Raft によって Paxos よりも理解しやすく実用的なシステムを構築するためのより良い基盤が提供される。わかりやすさを高めるために Raft はリーダー選挙、ログ複製、安全性といった合意の重要な要素を分離し、考慮すべき状態の数を減らすためにより強力な一貫性を強制する。ユーザ調査の結果から Raft は Paxos よりも習得しやすいことを示している。Raft にはクラスタメンバーシップを変更するための新しいメカニズム
物理カード「PassCard」を使えば、複雑なパスワードを何パターン作っても、忘れることなく安全に管理できる!
Dismiss Join GitHub today GitHub is home to over 40 million developers working together to host and review code, manage projects, and build software together. Sign up
the-raft.com - first for music, music news, features, competitions and reviews
the-raft.com - first for music, music news, features, competitions and reviews rel="stylesheet" type="text/css" href="/static/the-raft.com-raft.css"> the-raft.com - first for music, music news, features, competitions and reviews The Return of All Saints Simon’s Good 'Grace'! 'Soft Rock Ballads' The Little Ones with Big Talent Lions And Tigers And Lions, Oh My! WIN SIGNED ALL SAINTS PIX AND 'ROCK S
sorobantsukaikata.m-raft.net is Expired or Suspended.
「 sorobantsukaikata.m-raft.net 」のページは、ドメインが無効な状態です。 ウェブサイト管理者の方はこちらから変更・更新を行ってください。 「 sorobantsukaikata.m-raft.net 」is Expired or Suspended. The WHOIS is here.
Scaling Raft
In CockroachDB, we use the Raft consensus algorithm to ensure that your data remains consistent even when machines fail. In most systems that use Raft, such as etcd and Consul, the entire system is one Raft consensus group. In CockroachDB, however, the data is divided into ranges, each with its own consensus group. This means that each node may be participating in hundreds of thousands of consensu
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Raft:Understandable Distributed Consensus
Raft + Redis な内製Redisサーバの紹介 - Mirrativ Tech Blog
分散合意アルゴリズム Raft を TLA+ で検証する - 俺の Colimit を越えてゆけ
Paxos, Raftなど分散合意プロトコルを概観する(2) - 備忘録 blog
Paxos, Raftなど分散合意プロトコルを概観する(1) - 備忘録 blog
分散合意アルゴリズム Raft を理解する - Qiita
Raftを紹介する - obfuscatism
コンセンサスアルゴリズムであるRaftの概要 - 理系学生日記
[論文紹介] TiDB:a Raft-based HTAP database
Raft: Consensus for Rubyists
🐳 Docker 1.12 Swarm Mode ❤ Raft
Replicating SQLite using Raft Consensus | Vallified
Raft - The Understandable Distributed Protocol
海上をイカダで過ごすサバイバルクラフトゲーム『Raft』など実況eXのオススメをピックアップ
RAFT: Adapting Language Model to Domain Specific RAG
論文翻訳: In Search of an Understandable Consensus Algorithm (Extended Version) - MOXBOX #Raft
メール処理を効率的にする「RAFTテクニック」とは？ | ライフハッカー・ジャパン
GitHub - adjoint-io/raft: Raft Consensus Algorithm