コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
Aurora MySQL version 3でTempTable溢れの振り返り
9/11に開催された、【Chatwork × みてね勉強会】EKS＆Aurora最新ノウハウでお話させていただいた、みてねSREの伊東の登壇資料です。
rdsadmin とは何か？Aurora の監査ログに大量出力される rdsadmin ユーザーについてと、rdsadmin に関するアクティビティログを除外する方法 | DevelopersIO
コーヒーが好きな emi です。 Aurora MySQL 互換クラスターの監査ログを確認したところ、rdsadmin というユーザーの監査ログが大量出力されていました。自身がマスターユーザーで操作したログにたどり着くのに苦労したため、rdsadmin が何者なのか調査しました。 ついでに特定ユーザーの監査ログを除外する設定も発見したので、rdsadmin の監査ログを除外してみました。 監査ログが「rdsadmin」のログで埋め尽くされる 以下のような構成で Amazon Aurora MySQL 互換クラスターの監査ログを CloudWatch Logs にエクスポートしています。 項目 詳細 Aurora MySQL 互換クラスターの監査ログを CloudWatch Logs にエクスポートする方法については以下ブログを参照ください。 CloudWatch Logs にエクスポートし
Aurora PostgreSQL は、機械学習、Amazon S3 へのエクスポート、新たなマイナーバージョンのサポートを開始
PostgreSQL に互換性のある Amazon Aurora は、機械学習機能、Amazon S3へのデータエクスポートオプション、および互換性のあるアップデートされたバージョンの PostgreSQL が利用可能になりました。 Aurora を使用すれば、Amazon SageMaker と Amazon Comprehend とのシンプルで、最適化された、安全な統合を足掛かりに、機械学習 (ML) に基づく予測を、お使いのアプリケーションに加えることができます。Aurora の機械学習は使い慣れた SQL プログラミング言語を基盤としているため、カスタム統合を構築したり、データを移動させたり、個別のツールを学習したり、あるいは事前に機械学習について経験しておいたりする必要性がありません。こちらの機能も、MySQL 5.7 と互換性を持つ Aurora で使用可能です。 Aurora
Aurora - クラウド時代のDBアーキテクチャ - 発明のための再発明
はじめに Amazon Auroraは、AWSを触る人ならほとんどの人が利用を検討したことがあるでしょう。 Amazon社内ではOracleを止めたというtweetもありました SHUTDOWN ABORT the last Oracle database running Amazon Fulfillment! pic.twitter.com/DorqTua2Lt— John Darrow (@jdarrow) 2019年3月29日 そんなAuroraは、従来のRDBとは違いクラウド上で動くことを念頭に設計されています。 また、ログが中心的な役割を持つことから「The log is the database」と表現されることもあります。 そんなAuroraの仕組みについての論文を読んだので紹介します。 読んだ論文は以下の２つです。 Amazon Aurora: Design Conside
AWS Solutions Architect ブログ
こんにちは、プロフェッショナルサービスの宮本です。 先日開催致しました AWS Black Belt Online Seminar 「Amazon Aurora with PostgreSQL」の資料を公開いたしました。当日参加者の皆様から頂いたQAの回答と併せてご紹介致します。 今後のAWS Black Belt Online Seminarのスケジュールは こちら です。皆様のご参加をお待ちしております。 AWS Black Belt Online Seminar 2017 Amazon Aurora with PostgreSQL Compatibility from Amazon Web Services Japan 【Q&A】 1. RDS for PostgreSQLのスナップショットから移行可能とのことですが、どのバージョンからでも移行可能でしょうか。 本資料のP.59に記載
Amazon Auroraの先進性を誰も解説してくれないから解説する - Qiita
TL;DR; Amazon AuroraはIn-Memory DBでもなくDisk-Oriented DBでもなく、In-KVS DBとでも呼ぶべき新地平に立っている。 その斬新さたるやマスターのメインメモリはキャッシュでありながらWrite-BackでもなくWrite-Throughでもないという驚天動地。 ついでに従来のチェックポイント処理も不要になったのでスループットも向上した。 詳細が気になる人はこの記事をチェキ！ Amazon AuroraはAWSの中で利用可能なマネージド(＝運用をAWSが面倒見てくれる)なデータベースサービス。 ユーザーからはただのMySQL、もしくはPostgreSQLとして扱う事ができるのでそれらに依存する既存のアプリケーション資産をそのまま利用する事ができて、落ちたら再起動したりセキュリティパッチをダウンタイムなしで(!?)適用したりなどなどセールストー
RailsとAmazon Aurora利用時のフェイルオーバー問題を解決 - matsukaz's blog
tl;dr RailsのコネクションプールとAmazon Auroraのフェイルオーバーの仕組みは相性が悪く、フェイルオーバー時に致命的な問題が発生する 解決方法の1つは、コネクションプールを使わないこと ただし、都度接続だと接続コストがかかる New Relicなどを使ってる場合は、自分の実装以外で使ってるコネクションまで都度接続になってしまう 別スレッドでDB操作を行っている場合、処理中であってもそのスレッドのコネクションまで切断されてしまう（Railsのコネクション破棄がプロセス単位のため） コネクションプールを活かしたままこの問題を解決できたので、その方法をご紹介します。ちなみにRails 4.2の話。 RailsとAmazon Aurora利用時のフェイルオーバー問題とは 詳しくはこちら qiita.com 問題が発生する状況をまとめると以下の通りです。 Amazon Auror
DMSを使って非暗号化RDS MySQLから暗号化Auroraに無停止で移行する - yoshidashingo
セクションナイン の 吉田真吾（@yoshidashingo）です。 DB無停止移行は人類の夢 利用する特徴 手順 移行元データベース(MySQL) 中間データベース(Aurora Read Replica) 移行先データベース(暗号化済みAurora) DMS ソース／ターゲットデータベースに接続する タスクを作成して実行する 継続レプリされているか確認する アプリ切替 移行元にデータを書き込む まとめ 参考 DB無停止移行は人類の夢 暗号化していないRDS MySQLから暗号化済みのAuroraに移行したいけど、スナップショットの復元でもAurora Read Replicaのマスター昇格でも一発ではリソース暗号化ができませんが、そんなときに便利なのがDatabase Migration Service(DMS)です。 DMSを使えばどちらかがリソース暗号化されたデータベースであっても
Aurora 移行をキッカケに大きく改善したデータベース運用 | CyberAgent Developers Blog
はじめに クラウドファンディングプラットフォーム Makuake でウェブオペレーションをメインで担当している吉田慶章 ( @kakakakakku ) です．Developers Blog では，過去に『Well-Architected を目指した改善と組織文化への影響』を執筆したり，『「経営層を巻き込まないと開発組織は変わらない」――急成長するクラウドファンディングサービス「Makuake」エンジニアが社長と取り組んだこと』で組織変革をテーマにしたインタビューを受けたりしています．今回はサービスで使っているデータベースを MySQL 5.5 on EC2 から Amazon Aurora（以下，Aurora）に完全に移行した事例を紹介したいと思います．既にリリースをして約1ヶ月稼働していますが，大きな問題もなく安定稼働しています． 背景 例えばウェブサーバなど，既にスケールアウトが前提
デブサミ2017「グランブルーファンタジーを支えるインフラの技術」講演メモ #devsumi - 元RX-7乗りの適当な日々
CAを離れて1年半。最近はどんな感じか知りたかったので聞いてきました。面白かったです。 グランブルーファンタジーを支えるインフラの技術 (株)Cygames 佐藤太志 氏 グランブルーファンタジーについて 特徴 スマホのRPG ブラウザゲーム 協力プレイ、マルチプレイ システム規模 登録ユーザ数1400万人 月間300億PV 100万query/sec 8万req/sec トラフィック12Gbps (CDN除く) システム構成 LBはBIG-IP CDNはAkamai HTTP/WebSocketがフロントインターフェース Web: Apache + mod_php + mysqli Node: Node.js + twemproxy DB: MySQL + MHA オンプレミス、仮想化環境は使っていない ネットワーク通信量が非常に多い 低レイテンシを求められている ハイパフォーマンスを実
EngineyardからAWSに移設してAuroraの運用を開始した - トレタ開発者ブログ
どうも佐野です。トレタのインフラはEngineyardでワオワオやってたんですが、あの、なんていうのAurora？それを使いたかったわけです。 さて、私が書いた前々回の記事にて、「コア機能のAWS化」を今後のTODOとして挙げていましたが、5/9にEngineyardからAWSへの移設が完了していました。EngineyardはRailsやnodejsなどのWEB-DB環境を簡単に構築できるPaaSです。Herokuとの違いはサーバにsshしたり、chefを利用してFluentdなどのミドルウェアを入れたり、既存のコンフィグレーションをカスタマイズしたりすることができる点が挙げられます。比較的自由度の高いPaaSと言えるでしょう。トレタでは創業〜先月までお世話になりました。 今回は移設とAuroraの運用に関するTipsの紹介になります。なお、本記事に示す設計・運用方針はAWSのソリューショ
Amazon Auroraを始めるためのパラメータ資料 | 外道父の匠
Auroraがそこそこ浸透してきたように感じなくもないですが、そのわりに情報がまだ少なめなのは、それだけ従来のMySQLと変わりなく扱え、性能も十分満足いくものだろう、という証なのでしょうか。 中の人も、パラメータチューニングは済んでいるので、基本的にはスケールアップで対応してください、と申しているように、かなり良い調整がされているようです。しかし、インフラエンジニアというかエセDBAたるもの、何がどう調整されているかを具体的に確認しなくては気がすまないため、整理してみたわけです。 デフォルトの設定 パラメータグループについて Auroraのパラメータは従来と異なり、ノード毎の設定である『DB Parameter Group』と、クラスタ内共通の『DB Cluster Parameter Group』の２つに設定が分かれます。 必要に応じてクラスタの方に、文字コードやレプリケーション周りな
RDS for MySQLからAmazon Auroraに移行した話 - Tech Blog
はじめまして。 サーバーエンジニアの下川です。 弊社の 子育て家族アプリFamm は先日、データベースを Amazon RDS for MySQL から Amazon Aurora へと移行しました。 こちらではその手順やポイントを紹介したいと思います。 経緯 Fammではリリース当初からMySQL5.5を使用していました。 常に新しい機能を提供していくサービスですので、テーブルへのカラム追加等、テーブル定義の変更は避けられません。また、ダウンタイム無しでの運用を重視しており、MySQL5.6のオンラインDDL機能はFammにはとても魅力的でした。 今回、上記の通りMySQL5.6へアップグレード検討をしている際、Auroraの以下の点に惹かれ、同時にAuroraへの移行に踏み切りました。 ストレージのシームレスな拡張 - SSDベースのディスクで10GBから64TBまでダウンタイム無しで
実録！サービスを止めずに Amazon Aurora へ移行した話 | 株式会社ヌーラボ(Nulab inc.)
Photo via Visual hunt ヌーラボアカウントではつい先日、Amazon RDS for MySQL から Amazon Aurora へと移行しました。ここでは、その経緯と実際に実施した作業を簡単にご紹介させていただきます。 移行の経緯 ヌーラボアカウントは Backlog や Cacoo、Typetalk といったヌーラボのサービスへの認証機能を提供しています。もし認証機能が使えないとすべてのサービスを利用できなくなってしまいます。そのため、ヌーラボアカウントには常に認証機能を提供し続けられるような、高いアベイラビリティが求められています。 ヌーラボアカウントではこれまで RDS for MySQL を利用していましたので、MySQL 互換を掲げる Amazon Aurora は、リリースされたときから移行の可能性を検討をしてきました。Aurora のメリットについては
Amazon Aurora - Looking Deeper
Recently my colleague (by Percona) Yves Trudeau and colleague (by industry) Marco Tusa published their materials on Amazon Aurora. Indeed, Amazon Aurora is a hot topic these days, and we have a stream of customer inquiries regarding this technology. I’ve decided to form my own opinion, and nothing is better than a personal, hands-on experience, which I am going to share. The materials I will refer
Nice to meet you Aurora!!
Amazon Aurora 東京ローンチイベント 10/Nov/2015 発表資料 - RDS for MySQL から Aurora への移行に関する共有 事前に読んでおくべき資料 - Amazon re:Invent (DAT405) Amazon Aurora Deep Dive http://www.slideshare.net/AmazonWebServices/dat405-amazon-aurora-deep-dive - AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora http://www.slideshare.net/AmazonWebServicesJapan/aws-black-belt-tech-2015-amazon-aurora - RDS for AuroraとRDS for MySQL5.6のPar
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【追記有り】Amazon Aurora MySQL Version3でのOnline DDLの落とし穴とその回避方法 - CyberAgent SRG #ca_srg
Amazon Auroraを活用したソーシャルゲームの複数ワールドデータ統合 / AWS Dev Day Online Japan
#reco_tech OracleからAuroraへ feat. 開発しかやってこなかったエンジニア
