MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク
PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能
PostgreSQLをWebブラウザ上で動かす「Postgres-WASM」、オープンソースで公開。Webブラウザ上のx86仮想マシンで実行、レプリケーションも可能 WebAssemblyを用いてWebブラウザにx86の仮想マシンを構成することで、PostgreSQLをWebブラウザ上で実行可能にした「Postgres-WASM」がオープンソースで公開されました。 Today we're open sourcing postgres-wasm with our friends at @_snaplet Discover how we built it, and the extra features we've added: https://t.co/6kmfXBBhCS#postgres #wasm #opensource — Supabase (@supabase) October 3,
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場
BigQueryへMySQLやPostgreSQLから直接ニアリアルタイムでレプリケーション可能に。「Datastream for BigQuery」登場 Google Cloudは、BigQueryに対してMySQLやPostgreSQL、Oracle Databaseからニアリアルタイムで直接データのレプリケーションを可能にする新サービス「Datastream for BigQuery」をプレビューリリースしました。 オンプレミスやクラウドで稼働するMySQLやPostgreSQL、Oracle DatabaseでのOLTPによるデータ操作が、ETLツールなどを挟むことなくほぼリアルタイムでBigQueryに反映されるため、プライマリとなるデータベースのOLTP処理に負荷をかけることなく並行してBigQueryによる大規模データの分析処理が容易になります。 To stay compet
データベースとストレージのレプリケーション入門 / Intro-of-database-and-storage-replication
社内で若者向けに作ったデータベースとストレージの入門資料です
2019年8月2日、インフラストラクチャエンジニアやネットワークエンジニア向けの勉強会「インフラ・ネットワークエンジニア勉強会」がアイスタイル株式会社で開催されました。同会では、AWSに関するインフラ・ネットワーク視点の話や、オンプレ環境の話など、過去の事例を共有。6人のエンジニアが成功・失敗談をシェアしました。「スイッチ交換でデータベースがすごく苦労した話」に登壇したのは、株式会社アイスタイルのsuzukito氏。講演資料はこちら スイッチ交換でデータベースがすごく苦労した話 suzukito氏：レイヤ3スイッチの交換でデータベースがすごく苦労した話をしたいと思います。 自己紹介です。鈴木と申します。アイスタイルのデータベースエンジニアをやっています。 お話しすることは、スイッチ交換でMySQLのレプリケーションが壊れました。その顛末を共有したいと思います。 まず、ある日、インフラのほ
メリット1：システムを止めずに業務継続を可能にする複製元（稼働系）から複製先（待機系）にリアルタイムにデータを複製することで、稼働系にシステム障害が起こっても、待機系へ切替えることで復旧が可能となり、ダウンタイム（システムが停止している時間）を最小限に抑えられます。 メリット2：システムへの負荷分散ができる例えば、データベースの規模が大きかったり、アクセス頻度が高いといった場合、サーバーに過度の負荷がかかり、処理ができずサーバーがダウンする可能性がありますが、複製側のサーバーを参照用にしたり、データ解析用途では複製側のサーバーで処理を行うなど、アクセスを分散させることによって負荷を軽減し、全体のパフォーマンスを向上させることができます。 メリット3：サーバー移行の時間短縮になるサーバーの移行でも、できるだけ業務を止めずに簡単に済ませたいものです。レプリケーションを利用することで、システムを
Cloudflare、CDNエッジでサーバレスなSQLiteを提供する「Cloudflare D1」正式リリース。非同期レプリケーションによる分散データベース機能も
Cloudflare、CDNエッジでサーバレスなSQLiteを提供する「Cloudflare D1」正式リリース。非同期レプリケーションによる分散データベース機能も Cloudflareは、これまでベータ版として提供してきたSQLiteベースのデータベースサービス「Cloudflare D1」の正式サービス化を発表しました。 D1, Cloudflare’s SQL database, is now generally available. With new support for 10GB databases, data export, and enhanced query debugging, we empower developers to build production-ready applications with D1 to meet all their SQL needs.
はじめに みなさん、DBをバージョンアップして酷い目にあったことありますよね？ 先日ログラスの本番データベースのバージョンアップをしたのですが、Site Reliability Engineeringの観点で非常に良いトライが出来たので共有します。 PostgreSQLのロジカルレプリケーションを使って、データを最新に保った新旧のインスタンスを用意した。結果的に安心安全にバージョンアップ作業ができました。 データベースのバージョンアップはサービス運用やっていくと絶対にやらないといけない作業ですが、影響範囲は甚大です。この記事では工夫することで、何か問題が起こってもすぐに切り戻すことが出来るという話をします。 このメンテを通じて、ログラスで利用していたAurora PostgreSQLをエンジンバージョン11.19（PG11）から15.2（PG15）にバージョンアップしました。 バージョンア
DMMにおけるユーザーレビュー基盤の変革(AWS DMSを使ったクラウドへのデータ移行/レプリケーション編) - DMM inside
「JANOG53 Meeting in Hakata」に、マイクロサービスアーキテクトのSREが参加してきた話
PostgreSQL 14正式リリース。多くの接続を使用するワークロードや論理レプリケーションでの性能向上、可観測性の向上など新機能
PostgreSQL 14正式リリース。多くの接続を使用するワークロードや論理レプリケーションでの性能向上、可観測性の向上など新機能 オープンソースのリレーショナルデータベース「PostgreSQL 14」の正式版がリリースされました（日本語版のプレスリリース）。 PostgreSQLは毎年9月末から10月初旬にメジャーバージョンアップが発表されており、今年も順調に新バージョンが登場しました。 参考：PostgreSQL 13正式版リリース。B-Treeインデックスの重複排除、同一テーブル内でのVacuum並列処理など新機能 News: PostgreSQL 14 Released! https://t.co/vfM3ajUFnT — PostgreSQL (@PostgreSQL) September 30, 2021 PostgreSQL 14では、頻繁に更新されるインデックスを持つテ
いつの間に！？既存オブジェクトを S3 レプリケーション出来るようになっていた！ | DevelopersIO
これまで S3 のレプリケーションにおいて、「既存オブジェクトはレプリケーション出来ない」とばかり思っていましたが、2019年11月頃にひっそりと既存オブジェクトのレプリケーションが出来るようになっていたのをご存知だったでしょうか?（私は先日、S3 の公式ガイドで見つけるまで知りませんでした） そういえば SDK のアップデートはあったよね 公式ブログでアップデートリリースを見た記憶がありませんが、そういえば11月頃の SDK リリース情報に「既存オブジェクトのレプリケーションをサポート」ってありましたよね。 Aws\S3 - Added support for S3 Replication for existing objects. This release allows customers who have requested and been granted access to re
PostgreSQL 16がリリースされる、COPYの性能が最大300％向上などパフォーマンスの改善や論理レプリケーション機能の強化など盛りだくさんな内容
オープンソースのデータベース「PostgreSQL」のバージョン16がリリースされました。パフォーマンスの改善や論理レプリケーション機能の強化をはじめ、開発者のQOL向上やセキュリティ関連の更新など開発開始から35年経過しているとは思えない盛りだくさんな内容となっています。 PostgreSQL: PostgreSQL 16 Released! https://www.postgresql.org/about/news/postgresql-16-released-2715/ ◆クエリプランナーが改良される ・FULLおよびRIGHTのJOINを並列化可能に ・「DISTINCT」「ORDER BY」節と同時に集計関数を使用したクエリに対してより効率的なプランを生成 ・「SELECT DISTINCT」クエリに対してインクリメンタルソートを使用 ・ウィンドウ関数を最適化 ・RIGHTおよび
速習！論理レプリケーション ～基礎から最新動向まで～（PostgreSQL Conference Japan 2022 発表資料）
速習！論理レプリケーション ～基礎から最新動向まで～ （PostgreSQL Conference Japan 2022 発表資料） 2022年11月11日（金） NTTデータ 技術開発本部 先進コンピューティング技術センタ 鳥越 淳Read less
[アップデート] 同一リージョン内でS3バケットのレプリケーションが出来るようになりました！ | DevelopersIO
待望のアップデートがリリースされました！S3 バケットの同一リージョン内でのレプリケーションです！ Amazon S3 introduces Same-Region Replication これまで異なるリージョンのバケットに対して Cross-Region レプリケーション(CRR)を行うことは出来ましたが、同一リージョンのバケットに対しても Same-Region レプリケーション(SRR)が出来るようになりました。 なにが嬉しいのか 従来は異なるリージョンのバケットしかレプリケーションできなかったので、同一リージョン内で複製したい場合には S3 のマネージド機能ではなく、何らかの作り込みでオブジェクトをコピーする必要がありました。（S3 バッチオペレーションもあるかもしれませんが、ちょっとした複製にはコストがあわないですね） 今回、同一リージョン内のレプリケーションがサポートされたこ
無料のデータレプリケーション・ELTツールを使って、 SaaSのデータをDBに複製してみる：CData Sync - CData Software Blog
こんにちは。CData Software Japanリードエンジニアの杉本です。 以下の記事でも紹介されている通り、データレプリケーション・ELTツール「CDataSync」の Starter ライセンスで全データソース（現在約200種類以上）の利用が可能になりました！ www.cdatablog.jp 試しにデータソースの一覧のフルページキャプチャをしてみたところ、壮観ですねー！ www.cdata.com 通常SaaSなどのクラウドサービス上のデータはExcel・CSVエクスポート機能やAPI連携の開発を行わなければ、データをまるっと取ってくることができませんが、このCDataSyncを使うことで手軽にRDBやDWHにデータを複製して活用することができるようになります。 今回の記事ではCDataSync 無償版ライセンスの取得方法から簡単な使い方まで、ざっくりとお伝えしたいと思います。
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 熊崎 宏樹:良いですね。日曜大工でRDBMSを作るのはもっと市民権を獲得しうる趣味だと確信しています。 分散システムを作る際に気をつける事を語ると毎度長くなってしまうのですが、データ指向アプリケーションデザイン、通称イノシシ本に書いてある事をベースラインに説明すると明快であると気づきました。 * レプリケーションされるのはトラ
ご注意 本ドキュメントは 2019/12 時点の状況での検証結果をまとめています。 コメントに頂きましたが 2020/9 に CloudSQL がレプリ元をFQDNで指定可能となった (ref) ようで、Aurora -> CloudSQL へ MySQL レプリケーションができるようになった可能性がありますのでご注意ください。 はじめに ZOZOテクノロジーズでSREチームに所属している@hkameです 普段はZOZOTOWNのオンプレ基盤を運用しております ZOZOTOWNはレガシーなシステムから徐々にパブリッククラウドへのリプレイスを実施していまして そのプロジェクトに関わりながら、日々クラウドやk8s・CICDのスキルを吸収している人です マルチクラウドでサービスを構築するための検証として Aurora->CloudSQLの2サービスのみで、MySQLのレプリケーションができるか
ElastiCacheがリージョン間レプリケーションに対応！？実際にやってみた！！ | DevelopersIO
こんにちは(U・ω・U) ElastiCacheおじさんを目指して日々鍛錬を続ける深澤です。 立派なElastiCacheおじさんに成長することを決意したラスベガスでの出来事でした。 — 深澤俊 (@shun_quartet) December 4, 2019 そんな僕に次のようなニュースが飛び込んできました。 なんと素晴らしいアップデート。ElastiCacheおじさんたるもの、世の中の皆様にElastiCache最新情報をお届けするのが務めというもの。今回はこの機能をご紹介したいと思います！ グローバルデータストアってどんな機能なの？ ElastiCacheクラスタに保存したデータを複数のリージョン間でレプリケーションできます。グローバルデータストアの主なコンポーネントは次の通りです。 プライマリ（アクティブ）クラスタ レプリケーション元となるクラスタです。通常のElastiCache
ググラビリティがとても悪いのですが https://github.com/siddontang/go-mysql/ というGolangのライブラリがありまして、次のような機能があります。 MySQLのクライアント MySQLプロトコルを受け付けるサーバ MySQLのレプリケーションプロトコルのハンドラ ...etc 三つ目の「MySQLのレプリケーションプロトコルのハンドラ」が面白い機能で、Golangのプログラムでbinlogを出力するMySQLサーバに接続してレプリケーションを処理することができます。 プログラム例 READMEのexampleをもう少し実装してROWS_EVENTを処理するプログラムが以下のようになります。 package main import ( "context" "fmt" "github.com/siddontang/go-mysql/mysql" "git
そのため、binlog_formatの設定を合わせるため問題が起こったのsourceサーバーをSTATEMENTにして対処したところ、今度は更新処理で以下のようなエラーが出ていました。 ERROR 1665 (HY000): Cannot execute statement: impossible to write to binary log since BINLOG_FORMAT = STATEMENT and at least one table uses a storage engine limited to row-based logging. InnoDB is limited to row-logging when transaction isolation level is READ COMMITTED or READ UNCOMMITTED.これによりsourceに書き込む
Aurora MySQLからCloud SQLへのレプリケーション構築における注意すべき2つのポイント - ZOZO TECH BLOG
こんにちは、MA部でエンジニアをしている田島です。 以前に弊社の塩崎が「Amazon AuroraのデータをリアルタイムにGoogle BigQueryに連携してみた」という発表を行いました。 こちらの発表では、Amazon Aurora MySQLのデータをGoogle BigQueryへリアルタイムにデータ連携する方法を紹介しています。リアルタイムデータ連携を実現するために、Aurora MySQLをレプリケーションソースとしてGoogle Cloud SQLへレプリケーションします。そして、BigQueryのFederated Query機能を利用してリアルタイムにデータを参照できるようにしています。 本記事ではその中の、Aurora MySQLからCloud SQLへのレプリケーション部分にフォーカスします。Aurora MySQLがマネージドサービスだからこそ発生する大きな注意ポ
Amazon RDS PostgreSQL レプリケーションのベストプラクティス | Amazon Web Services
Amazon Web Services ブログ Amazon RDS PostgreSQL レプリケーションのベストプラクティス Amazon RDS for PostgreSQL では、読み込み負荷を取り除き、災害復旧 (DR) リソースを作成するために、ソース PostgreSQL インスタンスのレプリカを簡単に設定することができます。リードレプリカは、ソースと同じリージョン、または異なるリージョン内に設定できます。 RDS PostgreSQL リードレプリカインスタンスを使用すると、読み込みワークロードをレプリカインスタンスにオフロードすると同時に、書き込みアクティビティのためにソースインスタンスのコンピューティングリソースも確保します。ただし、レプリケーション遅延を避けるには、リードレプリカを正しく設定し、適切なパラメータ値を設定する必要があります。 概要 この記事では、リードレ
PostgreSQL互換の「Google Cloud AlloyDB」が大阪リージョンで提供開始。東京リージョンとのレプリケーションで高耐障害運用が可能に
PostgreSQL互換の「Google Cloud AlloyDB」が大阪リージョンで提供開始。東京リージョンとのレプリケーションで高耐障害運用が可能に Google Cloudは、PostgreSQL互換のマネージドサービス「AlloyDB」が大阪リージョンで提供を開始したことを発表しました。 AlloyDBはAmazon Aurora対抗と位置づけられる高性能なデータベースサービスで、すでに東京リージョンでは提供されています。大阪リージョンでの提供開始により、日本国内でクロスリージョンレプリケーション（現在プレビュー版の機能）を行うことにより、耐障害性を高めた運用が可能になります。 AlloyDB for PostgreSQL が、新たに大阪を含む、世界中 16 のリージョンで利用可能になりました。#AlloyDB は標準的な PostgreSQL と比較して、トランザクション処理で
PostgreSQL 16正式リリース。フルジョインの並列性向上、論理レプリケーションによる外部へのデータ転送など新機能
PostgreSQL 16正式リリース。フルジョインの並列性向上、論理レプリケーションによる外部へのデータ転送など新機能 オープンソースのリレーショナルデータベース「PostgreSQL 16」正式版がリリースされました（日本語のプレスリリース）。 PostgreSQLは約9万人のITエンジニアを対象にアンケートを行ったStack Overflowの調査で最も使われているデータベースとなっているなど、最近特に人気が高まっています。 参考：Stack Overflowが約9万人のITエンジニアにアンケート。最も使われている言語はJavaScript、データベースはMySQLを抜いてPostgreSQLが1位に。Stack Overflow 2023 Developer Survey PostgreSQL 16ではクエリの並列処理、バルクデータローディング、論理レプリケーションが顕著に改善され
Amazon S3 に新機能が追加されました。新たにアップロードされた S3 オブジェクトを、同じ AWS リージョン内のコピー先バケットに自動的かつ非同期的にレプリケートできるようになります。Amazon S3 には、異なる AWS リージョン間でデータをレプリケートする S3 クロスリージョンレプリケーション (CRR) が実装されていますが、Amazon S3 セイムリージョンレプリケーション (SRR) の実装により、Amazon S3 に新しいレプリケートオプションが追加されることになります。Amazon S3 のレプリケーションは SRR と CRR の 2 つで構成されます。これらの機能により、オブジェクトが誤って削除された場合に備えるクロスアカウントレプリケーション、またはバックアップや長期的なアーカイブを作成する際に使用する S3 Glacier や S3 Glacier
この状況でサイズの大きいテーブルに対してDDLを行うと、Replica でのレプリケーション遅延を招いてしまう恐れがあります。 遅延が発生すると Replica を参照しているサービスで Source に書き込まれた最新のレコードが取得できない状況になってしまい、サービスに影響が出ます。 本記事ではオンラインDDLでレプリケーション遅延を回避する方法について記述します。 ※ Source/Replica = Master/Slave です。慣れましょう 方法 MySQLのバージョンに応じて 2種類。そしてツールを使う方法があります。 INSTANT DDL (MySQL 8.0.12 ~) 特定のDDLに限る Rolling Schema Upgrade (RSU) (MySQL 5.6 ~) オンラインDDLに限る ツールを利用する 今回は紹介に留めて割愛します 1. INSTANT D
論理レプリケーションを使ったAurora PostgreSQLのメジャーバージョンアップ - エムスリーテックブログ
こんにちは、エムスリー 製薬企業向けプラットフォームチームでチームSREをやっている後藤です。 先日、担当しているサービスにてAmazon Aurora PostgreSQL を10から13にメジャーバージョンアップしました。 チームとして初めて論理レプリケーションを使ったバージョンアップを実施したので、その手順をご紹介しようと思います。 Aurora PostgreSQLのバージョンアップ 論理レプリケーションとは 論理レプリケーション構成の構築 1. REPLICA IDENTITY の確認 2. 新バージョンのAuroraクラスタ構築 3. セキュリティグループの設定 4. レプリケーション用のパラメータ変更 5. レプリケーションの開始 新DBへの切り替え 1. アプリケーションの停止 2. DBデータの一致確認 3. シーケンス値の設定 4. アプリケーションの起動 バージョンア
本稿ではDockerを使って、MySQLのレプリケーションを手軽に試すことができる環境を構築します。そしてレプリケーション遅延と不整合を実際に起こしてみて、どのような状態になるかを確認していきます。 具体的にはSHOW SLAVE STATUSクエリの下記の値を確認することで、レプリケーションの状態がどうなっているかを見ていきます。 Slave_IO_Running、Slave_SQL_Running Last_Error Seconds_Behind_Master ここ数年でクラウドサービスのフルマネージドデータベースが主流になってきており、そこでは特にレプリケーションの知識が無くても簡単にレプリカを作成することができます。手動でMySQLレプリケーションを構築しなければいけない機会は減ってきているかもしれません。しかし裏側で動いている仕組みを知っておくと、何かの役に立つかもしれません。
新しいサーバーレスの Datastream で、変更データのキャプチャとレプリケーションを最大限に活用 | Google Cloud 公式ブログ
新しいサーバーレスの Datastream で、変更データのキャプチャとレプリケーションを最大限に活用 ※この投稿は米国時間 2021 年 5 月 26 日に、Google Cloud blog に投稿されたものの抄訳です。 このたび、Datastream のプレビュー版がリリースされたことをお知らせいたします。Datastream は、サーバーレスの変更データ キャプチャ（CDC）とレプリケーションのサービスです。Datastream を使用すると、企業は異種のデータベース、ストレージ システム、アプリケーションの間でデータを確実に、かつ最小限のレイテンシで同期して、リアルタイム分析、データベース レプリケーション、イベント ドリブン アーキテクチャをサポートできます。また、Oracle や MySQL のデータベースの変更ストリームを BigQuery、Cloud SQL、Google
Amazon RDS+EC2+PGroonga+ロジカルレプリケーションを使った低コスト高速全文検索 - Horimoto Yasuhiro - Rabbit Slide Show
Description PostgreSQL で使用できる全文検索の拡張に PGroonga という高速で高性能な拡張があります。 PGroonga は、全言語対応の超高速全文検索機能を PostgreSQL で使えるようにする拡張で、 安定して高速で、かつ高機能（同義語、表記ゆれや異字体への対応、類似文書検索などが使えます）です。 Amazon RDS は Amazon がクラウド上で提供する RDBS サービスで、データベースのインストールや パッチ適用、スケールアウト、バックアップなどを Amazon が面倒をみてくれるため、 運用上の手間を大幅に減らすことができます。 Amazon RDS は、とても便利なのですが、拡張機能を自由にインストールすることができません。 以下の URL の一覧にある拡張しか使えません。 https://docs.aws.amazon.com/ja_jp
新機能 – Amazon Elastic File System (EFS) のレプリケーション | Amazon Web Services
Amazon Web Services ブログ 新機能 – Amazon Elastic File System (EFS) のレプリケーション Amazon Elastic File System (Amazon EFS) を使用すると、EC2 インスタンス、AWS Lambda 関数、およびコンテナがフルマネージドファイルシステムへのアクセスを共有できるようになります。2015 年に発表され、2016 年に一般利用が可能になった Amazon EFS は、さまざまなワークロードのために低レイテンシーのパフォーマンスを提供し、数千の同時実行クライアントまたは接続にスケールできます。2016 年に提供を開始してから、当社はお客様の声に耳を傾け、革新を続けてきました。そして、お客様のフィードバックにお応えして多くの新機能を追加してきました。これには、Direct Connect を介したオン
S3 sync と S3 レプリケーションでオブジェクトコピーした時の S3 イベントの違いについて調べてみた | DevelopersIO
すべてのオブジェクト作成イベントをトリガーにするケースもあると思いますが、イベントの違いをちゃんと知りたかったんです。 こんにちは、岩城です。 ある S3 バケットから別バケットにオブジェクトを同期する方法の中に、S3 Sync と S3 レプリケーションがあります。どちらも同期元バケットから同期先バケットにオブジェクトをコピーするものです。 オブジェクトがコピーされたことをトリガーに何か別の処理を実行したいと考えることはよくあります。そこで利用する機能として S3 イベント通知や EventBridge があります。 本エントリでは、同期先バケットにオブジェクトが作成されたことをトリガーに S3 イベント通知を介し、SQS にキューイングするケースを想定して話しを進めます。 S3 イベント通知は、どのイベントをトリガーとするか細かく設定することができます。どのようなイベントがあるか気にな
レプリケーションを使用すると、Amazon S3 バケット間でオブジェクトを自動で非同期的にコピーできます。オブジェクトのレプリケーション用に設定されたバケットは、同じ AWS アカウント が所有することも、異なるアカウントが所有することもできます。オブジェクトは、単一または複数の送信先バケットにレプリケートできます。送信先バケットは、異なる AWS リージョン でも、ソースバケットと同じリージョン内でも配置することができます。 新しいオブジェクトをバケットに書き込むときに自動的にレプリケートするには、クロスリージョンレプリケーション (CRR) などのライブレプリケーションを使用します。オンデマンドで既存のオブジェクトを別のバケットにレプリケートするには、S3 バッチレプリケーションを使用します。既存のオブジェクトのレプリケーションの詳細については、「S3 バッチレプリケーションを使用す
中山（順）です この記事では、タイトルの通りAurora MySQLのクラスター間でレプリケーションを行う手段としてGTIDを利用してみたので、その手順を紹介します。 MySQL 5.7 互換の Amazon Aurora、GTID ベースの複製をサポート GTID(Global Transaction Identifiers)とは？ GTIDは、トランザクションに付与される一意のIDです。 一意である範囲はそのサーバー内だけでなく、文字通りグローバルに一意です。 MySQLのレプリケーションを開始する際にスレーブがどの位置からレプリケーションを開始するかを特定するためなどに利用することができます。 詳細はMySQLの公式ドキュメントなどをご確認ください。 16.1.3 Replication with Global Transaction Identifiers やってみた 必要な手順は
Amazon Web Services ブログ Amazon ECRのクロスリージョンレプリケーションが公開されました この記事は Cross region replication in Amazon ECR has landed を翻訳したものです。 本投稿は Michael Brown と Michael Hausenblas が共同で作成しました。 Amazon Elastic Container Registry (ECR) のリージョン間でコンテナイメージを自動的にレプリケーションする機能は、最も要望の多かった機能の一つでした。これまでは自分でレプリケーションを実装しなければならなかったのですが、今では AWS に作業を任せて、お客様はアプリケーションの構築と実行に集中できるようになりました。この記事では、ECR のクロスリージョンレプリケーション (CRR) がどのように機能す
AWS CDKで別リージョンにレプリケーション用S3バケットを作成するスタックをデプロイしてAmazon CloudFrontオリジンフェイルオーバーを設定する - NRIネットコムBlog
小西秀和です。 前回の記事、「AWS CDKで別リージョンにAWS Certificate Manager(ACM)証明書スタックをデプロイしてAmazon CloudFrontに設定する」では次の記事で紹介したリージョン間でパラメータを送受信する方法を使ってACM証明書をCloudFrontに設定する方法を紹介しました。 AWS CDKで別リージョンにスタックをデプロイしてパラメータをリージョン間で受け渡す方法 －AWS CDKカスタムリソースの実装例 今回はその記事の続編として、前回記事で作成したAWS CDKカスタムリソースを使用して、リージョンの異なる2つのS3バケットを作成し、Amazon CloudFrontオリジンフェイルオーバーを設定する方法を紹介します。 パラメータをクロスリージョンで扱うAWS CDKカスタムリソースについては元記事を参照してください。 ※本記事および当
久しぶりにそういうことをやったので、備忘録です。 前提と方針 手順 マスターの設定 スレーブの設定 マスターサーバのデータをスレーブにコピーする マスターを起動する スレーブを起動する スレーブのレプリケーションを開始する 前提と方針 マスター、スレーブ構成のレプリケーションを設定するための手順です。MySQLのバージョンは5.7を対象とします。 OSはCentOS7です。 レプリケーションに関わる基本的な概念(バイナリログ、サーバーID)は既知のものとして解説はしません。 レプリケーション設定以前のスタンドアロン環境での運用における設定は済んでいるものとします。 MySQL5.7では従来の方式に加えて、GTIDベースによるレプリケーションが利用可能になっています。マスター接続時にバイナリログのポジションを指定する必要がないなど、運用上のメリットが多いと判断したので、この方式で構築します。
渡部です。Oracle Database関連のレプリケーション技術について整理します。 Oracle Database本体のレプリケーション機能の多くが、サポートが終了していることに注意してください。 物理レプリケーションと論理レプリケーション データベースのレプリケーション技術は、物理レプリケーションと論理レプリケーションに大別されます。 物理レプリケーションは、データベース全体に対する物理的な更新を伝搬することで、 データベースを複製します。レプリケーション元のデータベース（プライマリDB）と レプリケーション先のデータベース（スタンバイDB）の物理的な構造が同じになります。 メカニズムがシンプルで運用しやすいため、災害対策に向けたDR構成／HA構成によく使用されます。 論理レプリケーションは、指定したテーブル群に対する論理的な更新を伝搬することで、 データベース内の指定したテーブル群
どういうときに Arcserve UDP ではなく Arcserve Backup を使うの？ - それ、レプリケーションでよろしく。UDPともども。
Arcserve UDP は、継続増分！遠隔転送！仮想スタンバイ！と便利な機能がありますので、どちらかで迷った場合はまずは Arcserve UDP で検討することで問題ないです（※1）。 ただ、Arcserve UDP では対応していないことがありますので、その場合は Arcserve Backup を選択してください。 Arcserve UDP ではなく Arcserve Backup を利用する主なケースは、 ・特定のフォルダだけをバックアップする必要がある。（※2） ・テープへの直接バックアップが必須である。（※3） ・UNIX のバックアップをしたい ・Domino のオンライン バックアップをしたい（※4） ・Oracle RAC など、アプリケーションのクラスタ環境をバックアップしたい（※5） です。このような要件がある場合は Arcserve Backup を検討してくださ
OSSデータベース取り取り時報 第55回MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 この連載では、OSSコンソーシアム データベース部会のメンバーが、さまざまなオープンソースデータベースの毎月の出来事をお伝えしています。 オープンソースカンファレンス（OSC）東京での「多様性時代のDB選択」の開催中止 今回の「取り取り時報」では、オープンソースカンファレンス2020 Tokyo/SpringでのOSSデータベース特集トラック、「多様性時代のDB選択」の詳しい報告をする予定でしたが、新型コロナウイルスへの警戒が続く中、開催中止となりました。開催できなかったことはもちろん残念なことですが、参加者や関係者の健康と安全に配慮いただいて難しいご判断をされた実行委員会と事務局に敬意を表します。さて、OSSデータベースの発
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
スイッチ交換でMySQLのレプリケーションが壊れた顛末
レプリケーションとは、仕組み～3つのお勧めケースまで総解説
心穏やかにDBバージョンアップ！ロジカルレプリケーションで安全にバージョンを切り戻せるようにした話
現在ポータブルな単一で動くDBを趣味で作っています。 分散DBもやろうってなったとして、レプリケーション機能などを実装するとき 同期する内容は恐らくトランザクションログだけだと思うけど他に何があるのか、 通信プロトコルは何が最適なのか、 マスターが死んだことはどうやってわかるのか、 死んだときマスターはどうやって決めるのか、 そもそも分散DBはインスタンス同士でそれぞれの存在を漏れなく認識できているのか、 色々疑問が大量に湧きます。ここらへんの知識をご教示ください。 | Mond - 知の交流コミュニティ
Aurora->CloudSQLへMySQLレプリケーションはできるのか - Qiita
go-mysqlを使ったレプリケーション - Qiita
MySQLのレプリケーション設定で起きたトラブルの原因とその解決策
Amazon S3 にセイムリージョンレプリケーションが導入されます
MySQLのオンラインDDLでレプリケーション遅延を回避する方法 - Qiita
MySQLレプリケーション遅延と不整合を体験してみよう - Qiita
オブジェクトのレプリケーション - Amazon Simple Storage Service
Aurora MySQLクラスター間のレプリケーションにGTIDを利用してみた | DevelopersIO
Amazon ECRのクロスリージョンレプリケーションが公開されました | Amazon Web Services
MySQLのレプリケーション構築手順 - オープンソースこねこね
Oracle Databaseレプリケーションとサポート状況／対応製品 | コーソルDatabaseエンジニアのBlog
第55回 MySQLのド定番機能 レプリケーションの構築運用に新風、PostgreSQLの活用事例セミナー報告とバージョンアップ情報 | gihyo.jp