MySQL 6.0で搭載される予定の機能の一つに、Semi-Synchronous Replicationというものがある。コイツを使うととんでもなく凄いHA化ができるので、今日はその方法を紹介しよう。 まずはSemi-Synchronous Replicationの機能説明から。そもそもSemi-Synchrounousってナニ？どうして完全な同期でもなく非同期でもなくSemi-Synchronousなの？という疑問をまずは解消したいと思う。さっそく次の図を見て欲しい。 これはSemi-Synchronous Replicationの動作を図で表したものである。図だけではなんだかよく分からないと思うので、以下に各ステップの詳細を説明する。 アプリケーション（クライアント）からトランザクションをCOMMIT要求を出す。 バイナリログを更新する。 ストレージエンジン（テーブル）を更新する。
Using Azure Compute with VMSS, Kubernetes, and Service FabricTakeshi Fukuhara
データベースとストレージのレプリケーション入門 / Intro-of-database-and-storage-replication
社内で若者向けに作ったデータベースとストレージの入門資料です
Stop building slow, complex, fragile software systems. Safely run your application on a single server. Fully-replicated database with no pain and little cost. Get started Join our Slack No-worry backups Continuously stream SQLite changes to AWS S3, Azure Blob Storage, Google Cloud Storage, SFTP, or NFS. Quickly recover to the point of failure if your server goes down. Use existing apps Runs as a s
Replication Booster for MySQL を試す - blog.nomadscafe.jp
松信さんが作った Replication Booster for MySQL をデータサイズが大きいデータベースに対して使ってみました。 Yoshinori Matsunobu’s blog: Making slave pre-fetching work better with SSD github - yoshinorim/replication-booster-for-mysql Replication Booster for MySQL をものすごく簡単に説明すると、以下のようになるでしょうか。 MySQL でレプリケーションを設定した場合、マスターのバイナリログをIOスレッドが読み取り、relay-logへ記録します。そしてSQLスレッドがrelay-logから読み取ってテーブルを更新して行きます。Replication Booster を実行するとrelay-logを読み取り、更
replicationしてるMySQLのslave増設手順
こんにちは、hiroshiです。おひさしぶりですね。 stoneが書いたhadoopの記事が打ち合わせとかで「見ましたよ。評判ですよ。」とか言われてジェラシーいっぱいです。 僕もがんばります。目指せホッテントり！ といっても、僕だと書けることに限界があるので、今日は半定常作業のMySQLの増設作業について書こうと思います。 下図のように、master1台←slave2台がLVS+keepalivedで負荷分散構成されているDBがあるとします。 この構成の組み方にしようかと思ったのですが、これはググったらいっぱいあったのでホッテントリは狙えないと思ってやめました。 なので、今回のテーマは「このテーブルはwriteは余裕だけどreadがきつくなってきたからslaveを増設しなければ！」となった場合のslaveを増設する手順について書いてみます。 下図のslaveCを追加するぞ！の場合です。 ※
Paxos-based replicationはEventually consistentではなくstrongly consistentである - kuenishi's blog
ちょっと発言力のありそうな方がテクニカルに誤りを書かれていたので、ここでひっそりと訂正しておきたい。 このスライドの43ページ目に、 The problem with Paxos-based algorithm is that replications are eventual consistent. と、色付き文字で協調されて書かれている。このスライドで主張したいことの本筋ではないが、Spannerの性能がよいこととは関係がなく、Paxosなどのレプリケーションと、トランザクションとの関係で誤解を広めそうなので指摘しておきたい。辻マサカリと言って差し支えないだろう。 PaxosはStrongly consistentであることがMade Simpleの論文で証明されている（Strongly consistentが何かはまた別の機会にここに書こうと思う）。ちょっと長いが引用しておこう。 T
App Engine 1.4.1 をリリースしました - High Replication Datastore の紹介
.app 1 .dev 1 #11WeeksOfAndroid 13 #11WeeksOfAndroid Android TV 1 #Android11 3 #DevFest16 1 #DevFest17 1 #DevFest18 1 #DevFest19 1 #DevFest20 1 #DevFest21 1 #DevFest22 1 #DevFest23 1 #hack4jp 3 11 weeks of Android 2 A MESSAGE FROM OUR CEO 1 A/B Testing 1 A4A 4 Accelerator 6 Accessibility 1 accuracy 1 Actions on Google 16 Activation Atlas 1 address validation API 1 Addy Osmani 1 ADK 2 AdMob 32 Ads
NOTE: By now there are a some good alternatives to MySQL-MMM. Maybe you want to check out Galera Cluster which is part of MariaDB Galera Cluster. MMM (Multi-Master Replication Manager for MySQL) is a set of flexible scripts to perform monitoring/failover and management of MySQL master-master replication configurations (with only one node writable at any time). The toolset also has the ability to r
GitHub - Rochester-NRT/RocAlphaGo: An independent, student-led replication of DeepMind's 2016 Nature publication, "Mastering the game of Go with deep neural networks and tree search" (Nature 529, 484-489, 28 Jan 2016), details of which can be found on the
An independent, student-led replication of DeepMind's 2016 Nature publication, "Mastering the game of Go with deep neural networks and tree search" (Nature 529, 484-489, 28 Jan 2016), details of which can be found on their website https://deepmind.com/publications.html.
レプリケーションとは 【replication】
概要 レプリケーション（replication）とは、あるコンピュータやソフトウェアの管理するデータ集合の複製（レプリカ）を別のコンピュータ上に作成し、通信ネットワークを介してリアルタイムに更新を反映させて常に内容を同期すること。システムの耐障害性や可用性を高めることができる。 複製元のデータが追加、更新、削除などされると、リアルタイムに複製先に伝達され、同じ変更が加えられる。ネットワークやコンピュータへの負荷は高いが、複数のサーバなどの間で常に同様の記憶内容が維持される。最小の構成では現用系（マスター）と待機系（スレーブ）の2系統の同期が行われるが、複数の待機系へ同時に同期して信頼性を高める場合や、現用系が複数ありそれぞれに加えられた変更を互いに通知し合って同期する構成（マルチマスター）もある。 複製元と複製先のソフトウェア環境やサービス、機能は同等になるよう設定されており、複製元が障害
The Aurora MySQL replication features are key to the high availability and performance of your cluster. Aurora makes it easy to create or resize clusters with up to 15 Aurora Replicas. All the replicas work from the same underlying data. If some database instances go offline, others remain available to continue processing queries or to take over as the writer if needed. Aurora automatically spread
GitHub - microsoft/garnet: Garnet is a remote cache-store from Microsoft Research that offers strong performance (throughput and latency), scalability, storage, recovery, cluster sharding, key migration, and replication features. Garnet can work with exis
Garnet is a new remote cache-store from Microsoft Research, that offers several unique benefits: Garnet adopts the popular RESP wire protocol as a starting point, which makes it possible to use Garnet from unmodified Redis clients available in most programming languages of today, such as StackExchange.Redis in C#. Garnet offers much better throughput and scalability with many client connections an
repcached - add data replication feature to memcached
about repcached "repcached" is patch set which adds data replication feature to memcached 1.2.x. main purpose redundancy memcached system key features multi master replication. asynchronous data repliacation. support all memcached command (set, add, delete, incr/decr, flush_all, cas)
グーグル、Paxosを採用したApp Engineのデータストア「High Replication Datastore」が1年間ゼロダウンタイムだったと報告
グーグル、Paxosを採用したApp Engineのデータストア「High Replication Datastore」が1年間ゼロダウンタイムだったと報告 いまから約1年半前の2010年6月、グーグルはGoogle App Engineの利用者拡大への対応が後手に回り、深刻な性能低下や障害に見舞われました。グーグル自身が「Google App Engineの利用拡大に追いつけていない」ことを認める記事をブログにポストしています。 その半年後の2011年1月、こうした問題を解決するために登場したのが、新データストアのHigh Replication Datastoreでした。 High Replicatin Datastoreは、それまでのデータストアが採用していたMaster/Slave型でのデータセンター間の冗長性を、Paxosアルゴリズムによる同期に変更し、特定のデータセンターに障害
こんにちは、滝澤です。 前回の記事『WireGuardによるマルチクラウド構成VPNの事例紹介』に引き続き、社内事例を紹介します。 弊社ハートビーツではMSP（Managed Service Provider）サービスの可用性向上のために、社内基盤をマルチクラウド構成で運用しています。 複数のクラウド拠点のネットワーク間をWireGuardというVPNトンネルのソフトウェアで接続しています。 さらに、リレーショナルデータベース管理システムにはMySQLを利用しており、MySQLのレプリケーション機能の一つであるGroup Replicationを使って拠点内および拠点間における冗長化を行っています。 今回はこのMySQL Group Replicationの利用事例を紹介します。 行っていることをまとめると次のようになります。 マルチクラウド構成（Azure, AWS, GCP）において、
GitHub - stripe-archive/mosql: MongoDB → PostgreSQL streaming replication
MoSQL is no longer being actively maintained. If you are interested in helping maintain this repository, please let us know. We would love for it to find a forever home with someone who can give it the love it needs! At Stripe, we love MongoDB. We love the flexibility it gives us in changing data schemas as we grow and learn, and we love its operational properties. We love replsets. We love the un
GitHub - google/mysql-ripple: Ripple, a server that can serve as a middleman in MySQL replication
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Etsy Engineering | Turbocharging Solr Index Replication with BitTorrent
Note: In 2020 we updated this post to adopt more inclusive language. Going forward, we'll use "primary/replica" in our Code as Craft entries. Many of you probably use BitTorrent to download your favorite ebooks, MP3s, and movies. At Etsy, we use BitTorrent in our production systems for search replication. Search at Etsy Search at Etsy has grown significantly over the years. In January of 2009 we
GitHub - seaweedfs/seaweedfs: SeaweedFS is a fast distributed storage system for blobs, objects, files, and data lake, for billions of files! Blob store has O(1) disk seek, cloud tiering. Filer supports Cloud Drive, cross-DC active-active replication, Kub
SeaweedFS is a fast distributed storage system for blobs, objects, files, and data lake, for billions of files! Blob store has O(1) disk seek, cloud tiering. Filer supports Cloud Drive, cross-DC active-active replication, Kubernetes, POSIX FUSE mount, S3 API, S3 Gateway, Hadoop, WebDAV, encryption, Erasure Coding. License
PostgreSQL9.0でStreaming Replication + Hot Standbyを試してみた - Do You PHP はてブロ
2010/09/20に正式リリースされたPostgreSQL9.0ですが、大幅な機能強化がなされてますね。 PostgreSQL 9.0 に関する技術情報 - SRA OSS, Inc. 日本支社 個人的に大きなポイントだと思っている項目がいくつかありますが、その中でも ストリーミングレプリケーション ホットスタンバイ の組み合わせは実運用でもかなり使いたいと思っています。 ストリーミングレプリケーションは、WAL(アーカイブログ)の転送タイミングがより細かくなったことで、レプリケーションしているDBのスタンバイ側の更新遅延が少なくなるというもの。ホットスタンバイは、同じくスタンバイ側で参照系のクエリを受け付けられるようになるというものです。以前試したウォームスタンバイの場合、スタンバイ中はDB接続できませんでしたから、レプリケーションしつつ参照用DBとして活用できるようになりそうです。
MySQLのreplication時に起こる、double free or corruption について - 基本へ帰ろう
環境 OS CentOS 6.0 (動作はMac OS X 10.6.8 上の VMWare Fuction) MySQL MySQL-client-5.5.17-1.linux2.6.i386, MySQL-devel-5.5.17-1.linux2.6.i386, MySQL-server-5.5.17-1.linux2.6.i386, MySQL-shared-5.5.17-1.linux2.6.i386 （2011/10/26時点で最新） CPU Intel(R) Core(TM) i7 CPU 870 @ 2.93GHz メモリ 2GB （割り当てメモリ） ※Master, Slave共に同じです。 MySQL設定 Master my.cnf [mysqld] skip-character-set-client-handshake character-set-serve = ut
Amazon RDS for MySQLの delayed replicationで障害から復旧を行う | Amazon Web Services
Amazon Web Services ブログ Amazon RDS for MySQLの delayed replicationで障害から復旧を行う Amazon RDS for MySQLでdelayed replicationをサポートしました。これにより、レプリカデータベースがソースデータベースより遅延する期間を設定できます。標準のMySQLレプリケーション設定では、ソースとレプリカの間の遅延が最小限に抑えられています。今回のアップデートで意図的な遅延を導入するオプションを選べるようになりました。 遅延は、人為的なエラーから復旧させる必要がある場合に非常に役立ちます。たとえば、誤ってプライマリデータベースからテーブルを削除した場合、レプリカで同じクエリを実行する必要はありません。テーブルが削除される直前でレプリケーションを停止し、レプリカをスタンドアロンインスタンスに昇格させること
Linux Clustering with Fusion-io – Tuning tips to maximize replication performance – LinuxClustering.net
When most people think about setting up a cluster, it usually involves two or more servers, and a SAN – or some other type of shared storage. SAN’s are typically very costly and complex to setup and maintain. Also, they technically represent a potential Single Point of Failure (SPOF) in your cluster architecture. These days, more and more people are turning to companies like Fusion-io, with thei
After intensive testing and hack, we started using Semi-Synchronous MySQL Replication at Facebook production environments. Semi-Synchronous Replication itself was ready since MySQL 5.5 (GA was released 3.5 years ago!), but I'm pretty sure not many people have used in production so far. Here are summary of our objective, enhancements and usage patterns. If you want to hear more in depth, please fee
mysql replicationの復旧方法
Master_Log_File, Relay_Master_Log_Fileの意味は混同しやすいので、細心の注意を払ってください。また、それぞれのポジションの実態は、master.info, relay.infoというファイルです。 mysql レプリケーション 復旧シナリオ 事前準備 mysql レプリケーション 復旧シナリオ 事前準備 – mysqld_multi環境の構築 mysqld_multiを用いて、3つのmysqld(MySQLサーバ)を起動させます。動作確認のシナリオで使用する/etc/my.cnfの設定は以下の通りです。mysqld_multiの使い方は、mysqld_multiの設定方法を参照ください。 [mysqld] log-bin=mysql-bin relay-log=mysql-relay log-slave-updates master_info_repos
Replication Status Plugin という物がありまして、SHOW SLAVE STATUS で取れる値が information_schema.SLAVE_STATUS テーブルから取れるよって代物です。 SHOW 系のコマンドって変数代入出来ないから SQL でホゲホゲする事が出来ないんですよね。なのでこういう物があると中々便利かなと。 how do I install the Mysql Replication Status plugin に書いてあるまんまですが、こんな感じでインストールします。BUILDDIR が MySQL を一回ビルドしたディレクトリ、INSTALLDIR が MySQL をインストールした(--prefixで指定した値)ディレクトリだとして、 $ wget http://launchpad.net/is-replication-status/
GitHub - r7kamura/replicat: master-slave replication helper for ActiveRecord.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
GitHub - y310/kodama: ruby-binlog based MySQL replication listener
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
MySQL Master-Master Replication Manager 1.0 Released :: Oleksiy Kovyrin
It’s been a long time since we’ve started this project and it is time to make a checkpoint. So, I’ve decided to release final 1.0 version and make 1.X branch stable while all serious development with deep architectural changes will be done 2.X branch (trunk at this moment). Changes from previous release: Perl semaphores implementation caused huge memory leaks (mmmd_mod). Now we do not send any com
MySQL 5.5 GA版が出たのでSemisynchronous Replicationを使ってみた - As a Futurist...
こんにちはこんにちは。いつもうちの嫁がお世話になっております。というわけで、ついに 待ちに待った MySQL 5.5 の GA 版である MySQL 5.5.8 がリリースされました。http://dev.mysql.com/doc/refman/5.5/en/news-5-5-8.html 先日の MySQL Casual Talks #1 で@Rkajiyama さんがほのめかしていましたが、期待を裏切らず 年内リリースを達成して頂いた Oracle は本当にすばらしいと思います。Casual User としては このリリースに対して「使ってみたエントリ」で応えるしかない！というわけで早速使ってみました。 まずはインストール インストール方法についてはほとんど MySQL 5.1 と変わりません。InnoDB(しかも 5.1 の plugin 相当)が デフォルトのストレージエンジンに
Jeremy L. England "Statistical physics of self-replication"「自己複製の統計物理学」を読んだ話。 - sun_ek2の雑記。
目次。 目次。 はじめに。 雑誌会（ジャーナルクラブ）とは？ Jeremy L. England "Statistical physics of self-replication"。 雑誌会に使ったスライド。 どんな論文？ 役に立つの？ 「生命とは何か」という問いに迫ることができる。 生物を使った物質生産技術が発展する（PCR検査が安くなるかも？）。 さいごに。 この文章を読んで、面白い！役に立った！...と思った分だけ、投げ銭していただけると嬉しいです。 ofuse.me 【宣伝】ギターも歌も下手だけど、弾き語りをやっているので、よければ聴いてください。 www.youtube.com はじめに。 実は最近、税務署に開業届を出して個人事業主になっていました。個人事業の方に力を入れていたので、ずっとブログをサボっていました。すみません。 個人事業主になった話もそのうちブログに書きます。 今
DBIx::Class::Storage::DBI::ReplicationにてMasterで参照クエリを発行する方法 - Unknown::Programming
DBIx::Classのちょっとしたメモ、その２。・・・と、思いきや長くなったので一記事に。 Masterで参照クエリを発行する方法なんだけど、ちょこちょこと調べて見たけど情報が殆どないのね。 ただみんな色々考えているようで、例えば use Blog::Schema; my $schema = Test::Blog::Schema->connect("dbi:SQLite:$master"); # set slave data sources. $schema->slave_connections( ["dbi:SQLite:$slave_1"], ["dbi:SQLite:$slave_2"], ); # do something in slave connection. $schema->slave->resultset('Entry')->find(1); DBIx::Classでス
【新機能】S3でCross-Region Replicationが出来るようになりました！ | DevelopersIO
ウィスキー、シガー、パイプをこよなく愛する大栗です。 本日S3に重要なアップデートが行われました。S3のオブジェクトを別リージョンへレプリケーションすることで出来るようになりました。 設定 今回はManagement Consoleから設定を行いました。 まずS3の画面を表示します。Cross-Region Replicationの告知が表示されていました。 レプリケーションのオリジンとしてS3バケットを"maroon1st-rep-tokyo"という名称で作成して設定します。 Propertiesの中に"Cross-Region Replication"が増えています。 まず、[Enable Versioning]をクリックして有効化します。有効化は既存"Versioning"の項でも実施可能です。 次にレプリケーションの内容を設定します。 [Enable Cross-Region Re
GitHub - cybozu/yrmcds: memcached compatible KVS with master/slave replication.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
オリジナルのS3バケットのバックアップシステムをCross Region Replicationに移行したはなし - KAYAC engineers' blog
SREチームの長田です。 Tech Kayac Advent Calendar Migration Trackの15日目です。 S3バケットのバックアップ Lobiでは投稿された画像ファイルをS3に保存しています。 S3に保存しているだけでは、S3から誤って削除した場合に復元することができません。 主に読み書きするS3バケットとは別に、バックアップ用のS3バケットを用意し、そちらに画像ファイルのコピーを保存しています。 バックアップの仕組みを用意した当時はAWS内にこれを実現する機能がなく、自前のLambda functionでコピーを行っていました。 Backup S3 objects with Lambda function S3バケットに画像ファイルがPUTされたイベントをLambda functionに通知し、 対象ファイルをダウンロードして別リージョンにあるバックアップ用のS3バ
An Efficient Backup and Replication of Storage
Ceph on Intel: Intel Storage Components, Benchmarks, and ContributionsColleen Corrice
Single thread performance regression in 5.6 - Replication
At Facebook, we have upgraded most of MySQL database tiers to 5.6, except very few tiers that have a special requirement -- very fast single threaded replication speed. As Oli mentioned, single threaded performance is worse in 5.6. The regression is actually not visible in most cases. For remote clients, the performance regression is almost negligible because network latency is longer than 5.1->5.
先日（5/17/13）cloudpack night #6 - Re:Generate -に参加してきました。 当日の様子はcloudpack吉田さんの以下のレポートで。 cloudpack Night #6 - re:Generate - を開催しました 私はDJを少々とLTで参加させて頂いたのでその内容になります。 オレオレMulti-AZのススメ AWS上でMySQLを使う場合、RDSはてっとり早くて良いんですが、たまにもうちょっと柔軟性が欲しい時があります。 例えば別のストーレジエンジンやディストリビューションを使ったり（Percona Server, MariaDB, TokuDB, Mronnga等）、RDSでは使えないインスタンスファミリー（hi1, m3, c1系）を使ったり、OSレベルでのチューニングができたり、スレーブのバッファプールを予め温めておいたり。等々。 しかし
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
最強のMySQL HA化手法 - Semi-Synchronous Replication
Art of MySQL Replication.
Litestream - Streaming SQLite Replication
MySQL Multi-Master Replication Manager [mysql-mmm]
Replication with Amazon Aurora MySQL - Amazon Aurora
マルチクラウド構成におけるMySQL Group Replicationの利用事例紹介
Semi-Synchronous Replication at Facebook
replication status plugin のインストール - 日向夏特殊応援部隊
MySQL Statement-based-replicationでの安全な関数 - まい・はうす
Non-RDSなオレオレMulti-AZ MySQL Replication - @ijin