PostgreSQLエンジンでのAuroraとRDSのベンチマーク - so what
PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"
AWS RDSでもDBAはparameterチューニングする - Qiita
弊社で某テック・リーダーの遺産として「PostgreSQL 運用管理トレーニング」が1月に実施されたのはまだ記憶に新しいところ。 あのときのリーダーの言葉、憶えているうちに書き留めておこう。 「Managed Service で RDB を使う時代になっても、この研修で扱う知識はDBAもApplication Engineerも持っておくべきだと信じて、企画し実現しました」 （この記憶はほんとうか？ 意訳や美化が入っているかもしれない） 事例の1つを共有しましょう。 担当プロダクトの背景事情 担当プロダクトで使っているPostgreSQLをメジャーアップするには、現況を把握して変更影響を洗い出す作業から始めます。 現況把握のひとつとして、postgresql.conf（AWS RDSだとparameter group） の状況調査をしました。 重点ポイント PostgreSQLデフォールト
AWS Database Migration Serviceを使って水平分割されたDBの縮退に挑戦した話 - Qiita
概要 AWS Database Migration Service 略称DMSを使って、水平分割されたDBインスタンスを縮退しようと計画していましたが、検証中に不具合らしきものを見つけたので中断しました。この記事はDMSを検証中に引っかかったトラブルや対策について書いていたメモをまとめたものです。今回の記事中で説明する内容は実環境からぼかしている箇所がありますがご容赦ください。 ※ この文章での「メンテナンス」という単語は、ゲームシステムのメンテナンスを指しており、AWS側のメンテナンスとは異なります。 動機 通常DBは基本的にはスペックが不足したらスケールアップを行い対応します。弊社では加えてより大規模な負荷でも耐えられるよう水平分割してスケールアウトも併用する構成になっております。規模の拡大時には問題無いのですが、必要とされる負荷が下がった場合や、サービスの使われ方が変わって別のサブシ
[RDS Oracle]REDOログファイルのサイズ変更方法 | DevelopersIO
はじめに こんにちは、yokatsukiです。 今回もAmazon RDS for Oracle(以下RDS Oracle)の話です。例によって、お客様からの相談から始まります… アラートログファイルに気になるメッセージが… 運用中のRDS Oracleに関する相談を受けました。 「アラートログに以下のメッセージが毎日大量に出力されているのですが、これは普通なのでしょうか？」 Thread 1 cannot allocate new log, sequence 17097 Checkpoint not complete Current log# 4 seq# 17096 mem# 0: /rdsdbdata/db/XXSYSTEM_A/onlinelog/o1_mf_4_ckjwwbfz_.log Thread 1 advanced to log sequence 17097 (LGWR
![[RDS Oracle]REDOログファイルのサイズ変更方法 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/15b1b38c0d027aa8e0bdb38c9418116955076108/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2014%2F07%2Ficon-rds-oracle-db.png)
Amazon RDS for Oracle入門(1) | システム・アプリ開発 - クロスパワークラウドブログ
はじめまして、マツナミと申します。 普段はOracle Databaseの導入を主軸として、ITインフラの設計・構築などの仕事をしています。 そんなわけで、データベース周りのことについてこのブログに書いていきたいと思います。 今回はAmazon RDS for Oracleについて、オンプレ環境のOracleとの違いをテーマとします。 対象読者は、オンプレでOracleDBの運用などをやっていてRDSへの移行を検討しているDBAです。 もうすでにRDSバリバリ使ってます！という方に有益な情報はたぶんありません。あしからず。 なお、以下のSQL結果などは11.2.0.4 Standard Editionをベースとしています。 パラメータやユーザ情報などは12cでは異なりますのでご了承ください。 RDS for Orcleを使ったときの制限 RDS for Oracleはマネージドサービスのた
lambdaでVPC内のRDSにアクセスする - Qiita
はじめに AWS LambdaがVPCに対応したので、プライベートネットワーク上のRDSにアクセスできるようになりました。 Pythonでやってみましたので、手順をメモしておきます。 Python LambdaからRDSへの接続はMySQL-pythonを利用します。 外部ライブラリを利用する場合は、スクリプトとライブラリを合わせてzip圧縮し、アップロードする必要があります。 今回はEC2(Amazon Linux AMI 2016.03.0)で準備したときの手順です。 準備 テスト用RDSを用意します。 ここと同じ手順で、RDS(MySQL)の起動とテーブルの作成を行います。 作業ディレクトリを作成
Lambda+RDSはアンチパターン - Qiita
何が起きたのか 作成していたアプリではサーバレス構成にてLambdaからRDS(MySQL)を呼び出していました。 リクエストが増えるとRDSのコネクション数が増加して すぐにDBコネクションエラーになってしまいました。 最大コネクションの上限値 結論から言うとLambdaとRDS(MySQL)は相性が良くないです。 理由はLambdaからRDSのDBコネクションを貼ると リクエスト単位でコネクションを張ってしまうため 仕組み上、同時接続に耐えられません （RDSのコネクション上限数が少ない） さらにVPC設定すると・・・ セキュリティのため、RDSをLambdaからのみアクセスさせるためには LambdaとRDSを両方とも VPC領域に置く必要があるのですが、Lambdaの起動が遅くなる場合があります。 これは、一定時間Lambdaがコールしない場合にスリープ状態になり、 起動する際にE
RDS: MySQL5.6 のbinlogアクセス権限 - aws memo
RDS MySQLで、5.6のエンジンがサポートされた。 Amazon Web Services ブログ: 【AWS発表】 Amazon RDSがMySQL 5.6をサポート! そのなかで バイナリログアクセス - バイナリログを付属のmysqlbinlogツールを使って、ダウンロードしたりストリームすることができます。 この機能はオンプレミス環境とのデータの同期や、監査ログ、分析、レプリケーションエラーのデバッグといった様々な目的に使うことができます。この機能を利用するには、自動バックアップ機能を有効にする必要があります。 と書かれている。まずは権限の確認。ユーザ名「test」で作ったRDS MySQL5.5と5.6を比較すると MySQL 5.5 mysql>SHOW GRANTS FOR test\G *************************** 1. row ******
【速報】AWS Database Migration Service & AWS Scheme Conversion Tool発表！DBの移行が簡単に！ #reinvent | DevelopersIO
こんにちは、せーのです。AWS Re:Invent2015現地におります。 たった今新サービス「AWS Database Migration Service」「AWS Scheme Conversion tool」が発表されました！ AWS Database Migration Service (Preview) Now in Preview: AWS Database Migration Service 現在はプレビュー版なのでこちらより申し込みが必要です。 オンプレからRDSへ簡単に移行できる このサービスは簡単に言うと「オンプレにあるDBをAWS上に移行するためのサービス」となります。 通常オンプレのデータをRDSに全て移行するには長い計画、移行設計をしなくてはいけません。通常1企業のデータであれば6ヶ月から1年みたりします。この新サービスを使うことでそれを数十分に縮めることが可能で
Amazon VPCでRDSを起動するまでの手順 - サーバーワークスエンジニアブログ
こんにちはAWSチームの柳瀬です。 最近Amazon VPCがどんどん拡張されていて、どんどん魅力的なサービスになっていますね。 そして多くの方が待ち望んでいたRDSも、本日VPC内で使用出来るようになりました！！（ぱちぱち） 私もさっそく起動させてみたので、手順をまとめておきました。 ※VPCの作成は事前に完了させておいて下さい。 ■DB Subnet Groupを作成します。DB Subnet Groupは必ず最低一つ作成する必要があります 以下のようにVPC ID、Availability Zone、Subnet IDを指定してDB Subnet Groupを作成します。 ※Multi-AZ環境で使用する事を考え、DB Subnet Groupには2つのAZを登録します。 ※DB Subnet Groupを作成完了後、反映されるまでに少し時間がかかるようなので気長に待って下さい。 ■
MySQL 5.6とAmazon RDSの設定の違い | Yakst
MySQL Performance Blogの翻訳。MySQL 5.6とAmazon RDSの設定パラメータの違いと、その理由について解説する。 過去数年にわたってずっと耳にし続けていて、現在でもよく聞く不満と言えば、Amazon RDSが、MySQLをEC2インスタンスで動かした時と比べて設定の柔軟性がないことだ。と同時に、MySQLインスタンスをチューニングするために非常に重要なパラメータへアクセスできるようにしているという、一貫してAmazonのやってきたことを無視してもいる(所詮、bind_addressをRDSインスタンスで設定することが顧客にとってどの程度関連があるかによる)。 視覚的に見てみよう。 MySQLは、523のオプションを提供している(うち35がNDB関連なのでRDSとは関係ない)。一方で、RDSは(Web UIからは)283のオプションを提供しており、うち58が変
RDSでParameter Groups変更時のDBリブートについて調査してみた | iret.media
こんにちは、cloudpack の 今岡 です。 Amazon RDS はインスタンスのスペックに応じて、自動でDBパラメータを調整してくれるのが売りでもありますが、どうしても変更したいパラメータがあったりします。有名なところでは max_allowed_packet character_set_xxx 系 この辺りのパラメータや、もっと重いパラメータ(クエリキャッシュの有効化等) 変更時に、DBリブートはかかるのか、かけなくていいのかを検証します。今回はとりあえずMySQLです。 リブートが掛かっていないかの確認 スクリプトを用意しました。しょうもないスクリプトですが、使ってください。 #!/bin/bash while : do dt=$(date) state=$(timeout 5 mysqladmin ping -u -p -h) echo $dt-$state sleep 1
AWS RDS デフォルトDBパラメータグループ運用止めませんか？ - vague memory
デフォルト設定で構築してあったAmazon RDSMySQLの運用でちょっと困った事があったので。 SlowQueryを取りたいんだけど？ MySQL運用あるあるです。 デフォルトOFFなので必要に迫られてONにするケースは多々あります。 どうぞどうぞ slow_query_log または log-slow-queries スロークエリログの有効/無効 slow_query_log_file スロークエリログファイル名 long_query_time スロークエリログに出力する閾値(デフォルト10秒) この辺りの 動的パラメーター を設定すれば良いのです。 もちろん 動的パラメーター なのでデータベースを停止することなく変更可能です。 では、適用しましょう まず、RDSなので権限が無いためSET GLOBALコマンドでの変更は行えません。 ERROR 1227 (42000): Acces
Amazon RDS における MySQL 5.6 のパラメータ設計例 - bekkou68 の日記
(最終更新日: 2017/9/25) はじめに production 環境で MySQL 5.6 動かすためのパラメータ設計についてまとめました。この記事がカバーする内容は次のとおりです。 パラメータを設定するスクリプト。 各パラメータにおける変更するかどうかの判断基準。 想定されるメモリの消費サイズを算出してパラメータが妥当かどうか確認する方法。 サービスの状況に応じててきぎ読みかえてください。 【結論】パラメータグループ作成・パラメータ設定のスクリプト 結論として、パラメータグループを作成し、パラメータを設定する aws-cli のスクリプトを置きます。Amazon AWS の Web Console から設定することもできます。 #!/bin/sh # == パラメータグループ作成 aws rds create-db-parameter-group --db-parameter-gr
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS-RDS - gouyasystem
AWS Black Belt Tech Webinar シリーズ 2015 - Amazon Aurora
[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証![[Deep Dive]Infra寄りのDevがお送りするRDS for Aurora徹底検証](https://cdn-ak-scissors.b.st-hatena.com/image/square/76ec8c9f8632133d1a009287a66f6102c6643cac/height=288;version=1;width=512/https%3A%2F%2Fcdn.slidesharecdn.com%2Fss_thumbnails%2Fauroradeep-150322203758-conversion-gate01-thumbnail.jpg%3Fwidth%3D640%26height%3D640%26fit%3Dbounds)