[B! aurora] yo_wakaのブックマーク

AuroraのストレージのQuorum原理 - yoshidashingo

cloudpackエバンジェリストの吉田真吾（@yoshidashingo）です。今回発表になった Amazon RDS for Aurora。最大の特徴はストレージが従来のRDS(Multi-AZ)における「完全同期なミラーディスク型のレプリケーション」方式でなく、「Quorumベースの非同期レプリケーション」方式が採用された点です。 Quorumの概念 Quorum自体の概念の説明はWikiなどを参照してください。ノード間で投票を行い、定足数が揃った処理を実行／破棄するという考え方です。 Quorum - Wikipedia 同期型のミラーディスク型から非同期のQuorum型へ Aurora以外のRDSのMulti-AZ配備は、マスターノードのディスクへの書き込みをブロックレベルでスタンバイ側に適用する完全同期なフィジカルレプリケーションを行っています。これにはいくつかの課題が考えら

yo_waka 2018/07/04

aurora

リンク

シャーディングされたシステムをAuroraに集約してリソースの消費を削減 | Amazon Web Services

Amazon Web Services ブログシャーディングされたシステムをAuroraに集約してリソースの消費を削減リレーショナルデータベースを利用したワークロードで、スケーリングを考えないといけなくなった時に、一般的にスケールアップとスケールアウトと2つの手法が上げられます。一般的にスケールアップの方が簡単に行えます(単純にスペックのいいマシンを購入するなど)。一方スケールアウトは、それぞれ独立したホストで稼働している複数のサーバへ、データベースをシャーディングする必要があり作業が煩雑になります。難しさにも関わらずスケールアウトとが最近のトレンドとなってきています。コモディティハードウェアとシステムリソースへの要求の増加に伴いワークロードを効率的にシャーディングする必要が出てきました。シャーディングされたシステムの1つの欠点として管理コストがあげられます。もし4つのシャードを持っ

yo_waka 2018/06/27

db
aurora

リンク

RailsとAmazon Aurora利用時のフェイルオーバー問題を解決 - matsukaz's blog

tl;dr RailsのコネクションプールとAmazon Auroraのフェイルオーバーの仕組みは相性が悪く、フェイルオーバー時に致命的な問題が発生する解決方法の1つは、コネクションプールを使わないことただし、都度接続だと接続コストがかかる New Relicなどを使ってる場合は、自分の実装以外で使ってるコネクションまで都度接続になってしまう別スレッドでDB操作を行っている場合、処理中であってもそのスレッドのコネクションまで切断されてしまう（Railsのコネクション破棄がプロセス単位のため）コネクションプールを活かしたままこの問題を解決できたので、その方法をご紹介します。ちなみにRails 4.2の話。 RailsとAmazon Aurora利用時のフェイルオーバー問題とは詳しくはこちら qiita.com 問題が発生する状況をまとめると以下の通りです。 Amazon Auror

yo_waka 2017/08/01

rails
aurora

リンク

Amazon Aurora のアーキテクチャまとめ - おくみん公式ブログ

先日公開された『Amazon Aurora: Design Considerations for High Throughput Cloud-Native Relational Databases』を読みました。興味深かった部分や疑問に思った(あんまりわかってない)部分をまとめておきます。 AWS は詳しくないので、ところどころ間違っているかもしれません。 Amazon Aurora とは Amazon Aurora のアーキテクチャ全体像 quorum 10GBに分割されたストレージ redo ログのみを転送感想 Amazon Aurora とは Amazon Aurora は Amazon Web Service が提供する、マネージドリレーショナルデータベースサービスです。 Amazon Aurora (MySQL 互換のリレーショナルデータベース） | AWS Amazon A

yo_waka 2017/05/21

aurora

リンク

Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠

Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。デフォルトの設定パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。必要に応じてクラスタの方に、文字コードやレプリケーション周りな

yo_waka 2016/05/24

aurora
mysql

リンク

密着 24時！ MySQL 5.1 から Aurora への移行100日間〜 Backlog 編 | 株式会社ヌーラボ(Nulab inc.)

Photo via Visual hunt Backlog の一部のスペースにて Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。移行の経緯昨年末データベース障害が発生しユーザー様には多大なご迷惑をお掛けしてしまいました。 Backlog には Terraform をどう使っているかを紹介したブログにあるように複数の運用環境があります。その各々の環境の構築時期によって EC2 上で自前運用していた MySQL もあれば、RDS for MySQL もある、といった統一されていない状況でした。また EC2 上ではまだ MySQL 5.1 も稼働していました。移行を検討するにあたり、優先したのは障害時の復旧が素早く出来ることと、少しでも運用の管理コストを下げることでした。Backlog のサーバは 100 台以上で