［速報］Amazon AuroraのOLTPとRedshiftのDWHを統合する「Amazon Aurora zero-ETL integration with Amazon Redshift」発表。AWS re:Invent 2022
Amazon Web Services（AWS）の年次イベント「AWS re:Invent 2022」が米ラスベガスで開催中です。 2日目の基調講演には、AWS CEOのAdam Selipsky氏が生バンドの演奏とともに登場しました。 Selipsky氏は、さまざまなデータを分析する上で多数の分析ツールのあいだでデータを転送しなければならない問題を指摘し、データ転送ツールであるETLがなくなることが同社のビジョンだと説明。 新サービスとして「Amazon Aurora zero-ETL integration with Amazon Redshift」を発表しました。 Amazon Auroraは高速なトランザクション処理を特徴とするリレーショナルデータベースであり、Amazon Redshiftは大規模データの高速分析を特徴とするデータウェアハウスのサービスです。 新サービス「Amaz
えぇ？ Aurora＆RDSがBlue/Greenデプロイをフルマネージドで提供してくれるように!? - Qiita
まだre:Invent 2022開催直前ですが、フライング気味にいくつものAWSアップデートが早くも発信され始めています。 今回はその中でも 「Aurora＆RDSにおけるフルマネージドなBlue/Greenデプロイ」 を日本語で先行紹介してみます。 アナウンス概要 背景 データベースを更新する際、リスクとダウンタイムを極小化するためにBlue/Greenデプロイが有効な戦略となる。ただしBlue/Green双方のDBを常時同期しておかないと、安全なB/Gデプロイが出来ない AuroraやRDSではこれまでもクローン機能やリードレプリカ昇格機能を組み合わせてセルフサービスでB/Gデプロイを実現することができたが、手順が複雑でコストも掛かるため対応が後回しにされがちだった 新機能概要 Aurora（MySQL互換）、RDS（MySQL/MariaDB）が対象 少ない手順で本番DBのコピーをス
New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS | Amazon Web Services
AWS News Blog New – Fully Managed Blue/Green Deployments in Amazon Aurora and Amazon RDS When updating databases, using a blue/green deployment technique is an appealing option for users to minimize risk and downtime. This method of making database updates requires two database environments—your current production environment, or blue environment, and a staging environment, or green environment. Y
S3 + API gateway + Lambda (+ Aurora) による Serverless 申請フォームの構築 - BASEプロダクトチームブログ
はじめに はじめまして、CSE (Corporate Solution Engineering1）の上野です。 今回は BASE Partners という事業で使用していた Google フォームを S3 + API gateway + Lambda (+ Aurora) を使用した Serverless 構成のフォームに移行するというプロジェクトについてお話します。 変更前の構成図と構築した構成図としては以下のようになります。 変更前 変更後 BASE Partners について BASE では新規のショップオーナー様を紹介・支援いただくオフィシャルパートナーを募集するパートナープログラムを運営しています。 それらの申請には初期的には Move fast に行うため、Google フォームと Google スプレッドシートが使用されていましたが、ありがたいことにパートナー様やご紹介いただ
AWSサービスのServerlessオプションの特徴・比較・まとめ・プロビジョニングとの違い －Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service－ - NRIネットコムBlog
小西秀和です。 今回は「AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い」の記事の一部としてAWSサービスの一部でクラスターやインスタンスのプロビジョニングに対して用意されているServerlessオプションについて、主なAWSサービスごとに特徴、設定項目、料金、制限事項を見ていきたいと思います。 今回の記事の内容は次のような構成になっています。 Serverlessオプションが使える主なAWSサービス Amazon Aurora Serverless v1 Amazon Auroraの概要 Amazon Aurora Serverless v1の特徴 Amazon Aurora Serverless v1の設定項目 Amazon Aurora Serverless v1の料金 プロビジョニング型とServerlessオプショ
AWSサービスのServerlessオプション、オンデマンドモードの特徴・比較・まとめ・プロビジョニングとの違い －Serverless(Aurora、Neptune、EMR、Redshift、MSK、SageMaker Inference、OpenSearch Service)、オンデマンドモード(DynamoDB、Kinesis Data Streams)－ - NRIネットコムBlog
小西秀和です。 Amazon Aurora、Amazon Neptune、Amazon EMR、Amazon Redshift、Amazon Managed Streaming for Apache Kafka(Amazon MSK)、Amazon OpenSearch Serviceなどのインスタンスで構成されたクラスターで処理を実行するAWSサービスでは、従来、リクエストを処理するために待ち受けているインスタンスの起動時間とインスタンスサイズに応じて料金が発生する課金体系でした。 近年ではこうしたクラスター型のAWSサービスの一部にリクエストやトラフィック処理に使用した時間やリソース量の分だけ料金が発生する課金体系が「～Serverless」のような名称で追加されてきています。 例えば前述したAWSサービスにはAmazon Aurora Serverless(v1, v2)、Amazo
ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.11.01 技術記事 ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] by yayohei #infrastructure #sre #database #aws #aurora #mysql #proxysql #stabilization #livestreaming-infrastructure #infra-quality こんにちは、 IT 本部 IT 基盤部第一グループの山本です。 今回は ProxySQL を利用した Aurora MySQL の新規接続の遅延問題の解消方法について紹介したいと思います。 Aurora MySQL のメリット Aurora MySQL のメリットとしては本稿で詳しく語るまでもないですが、Writer の 自動 Failover、Snapshot の取得の容易さ、Storage 故障の
![ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/86065d7b8409d04e7be80a93878f716de9247a45/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F11%2Finfra-proxysql%2Fcover.png)
【アップデート】Amazon AuroraクラスターからS3バケットに直接データエクスポート可能になりました！ | DevelopersIO
【アップデート】Amazon AuroraクラスターからS3バケットに直接データエクスポート可能になりました！ こんにちは。AWS事業本部トクヤマシュンです。 先日のアップデートでAmazon Aurora DBクラスターからAmazon S3バケットにデータを直接エクスポートすることが可能になりました！ エクスポートされたデータはApache Parquet形式のオブジェクトとして保存されるため、Amazon AthenaやAmazon Redshift Spectrumなどのデータ分析に連携が可能です。 本エントリではこの機能について概要を紹介するとともに、マネジメントコンソールでの操作を確認します。 機能概要 Amazon Aurora DBクラスターのデータを「Apache Parquet」形式で直接S3バケットにエクスポート 特定のデータベースやスキーマ、テーブルといった単位で一
RDS には DB インスタンスクラスも DB インスタンスタイプもあるけど DB インスタンスファミリーはない | DevelopersIO
db.r6g.2xlarge の「DB インスタンスタイプ」を教えて、と言われたらどの部分を答えますか？ コンバンハ、千葉（幸）です。 先日、EC2 のインスタンスファミリーはどこのことを指すのかを調べました。「C5d.xlarge」で考えた場合、Cを指すこともあればC5dを指すこともありました。 では RDS における「インスタンスファミリー」はどういった考え方なんだろう、というのが気になってきたので、今回はそれを調べます。 まとめ イメージは以下です。 ドキュメントの定義に則れば、DBインスタンスクラスは以下から構成される DBインスタンスタイプ（DBインスタンスクラスタイプとも） サイズ DB インスタンスクラスのことを指して DB インスタンスタイプと表現されることもある DB インスタンスファミリーという言葉は厳密にはない db.r6g.2xlarge を例にとると、 db.r6
こんにちは。メディアサービス開発部Webアプリケーション開発課の奥川です。ニコニコ漫画のバックエンド開発を担当しています。 2021年初頭、ニコニコ漫画である作品の連載が開始されました。それに端を発する数カ月間のサーバ障害により、ユーザーの皆様には大変ご迷惑をおかけしました。 少し前の話にはなりますが、当時ニコニコ漫画のサーバでは何が起こっていたのか、どのような対応を行ったのかを振り返ってみたいと思います。 1号棟（事の起こり） 2021/01/08 問題の作品（以後、「作品I」*1と記述します）の第1話が投稿されます。その過激な内容からSNSなどでは一部で話題になりましたが、まだニコニコ漫画へのアクセスも穏やかなものでした。 2021/01/22 その2週間後、「第2話（前編）」の公開から事件が起こります。 ピークタイム最中の12:22頃から、まずmemcachedがCPU Utiliz
Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成してみる - Yappli Tech Blog
SREチームの中原です。 Aurora MySQL 2.x で運用している本番DBから Aurora Serverless v2 な調査用DBを作成する方法について書いてみます。 TL;DR Aurora MySQL 2.x で運用しているDBでも Serverless v2 な調査用DB立てられるよ ただし毎回メジャーバージョンアップの処理が必要なので時間かかるよ (弊社の環境で1.5〜3時間) Aurora Serverless v2 だとクエリーの途中でもスケールアップしてくれるのでハッピーだよ AWS さん Aurora Serverless v2 の Aurora MySQL 2.x 対応はよ！ Aurora MySQL 3.x の LTS 版提供はよ！ 経緯 弊社の本番DBは Aurora MySQL 2.x の LTS バージョンで運用しています。 これまで本番影響なく調査用
Today AWS announced up to 10x faster exports to Amazon S3 for snapshot exports for Amazon Aurora MySQL-Compatible Edition for MySQL 5.7 and 8.0. The performance improvement is automatically applied to all types of database snapshot exports, including manual snapshots, automated system snapshots, and snapshots created by the AWS Backup service. With this capability, customers can export data up to
[全部乗せ] Amazon Aurora の設定変更で注意が必要なものをまとめてみた | DevelopersIO
アノテーション、テクニカルサポートチームの村上です。 Aurora 利用時に、どんな設定変更を実施するとクラスターやインスタンスにダウンタイムが発生するかご存知でしょうか？ 本ブログでは、ダウンタイムが発生する設定変更と、必ずしもダウンタイムが発生するわけでは無いが注意が必要となる設定変更についてまとめてみました。 ダウンタイムが発生する設定変更 下表の設定変更を実施すると、Aurora クラスター全体または設定変更を実施した DB インスタンスでダウンタイムが発生します。 エンジンバージョンの変更と DB インスタンスクラスの変更に伴うダウンタイムについては、Aurora を長く運用していれば経験されているかと思いますが、他の設定変更についても一度ご確認いただければと思います。 AWS Management Console の使用、コンソール、CLI、API を使用した DB クラスター
Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 | Amazon Web Services
Amazon Web Services ブログ Data Modernization Day in Japan #3 「2.5時間で学ぶ！ Amazon Aurora のいま」資料・動画及び QA 公開 先日(2022/9/1) に開催した Data Modernization Day in Japan #3「2.5時間で学ぶ！ Amazon Aurora のいま 〜アーキテクチャと高可用性にパフォーマンスチューニングをそえて〜」の資料・動画を公開しました。今回のセミナーでは、RDS/Auroraの最新アップデートのセッションに加え、多くのお客様へのご利用が加速しているAuroraに関して、アーキテクチャ・高可用性・パフォーマンスチューニングに関するDive Deepセッションを行いました。 当日、参加者の皆様には数多くの QA を頂きありがとうございました。頂いた QA の一部についても
Redashから別のAWSアカウントのDBに繋がらない際に確認するポイント3つ - Link and Motivation Developers' Blog
こんにちは。リンクアンドモチベーション SRE グループの綿引と申します。 今回はRedashから別AWSアカウントのDBに対してアクセスできない際に確認するポイントをご紹介したいと思います。 ただ以下の背景の関係上 「Redashサーバが存在するAWSアカウントと参照したいDBが存在するAWSアカウントは VPCピアリングで接続されている 」 という前提で進めさせて頂きますので、その点はご容赦頂ければと思います。 背景 先日 「ある AWS アカウントの Redash から、別アカウントの Aurora に対しアクセスを可能にしたい」 という話があったので対応したのですが、このナレッジを残しておきたいと思ったことが背景となります。 尚、構成に関して次項に記載しているのですが、本記事を見て頂いている方の担当システムで全く同一の構成というケースは少ないかとは思いますのでご参考程度に見て頂けれ
Amazon Aurora supports in-place upgrades from MySQL 5.7 to 8.0
Starting today, you can perform an in-place upgrade of your Amazon Aurora database cluster from Amazon Aurora MySQL-Compatible Edition 2 (with MySQL 5.7 compatibility) to Aurora MySQL-Compatible Edition 3 (with MySQL 8.0 compatibility). Instead of backing up and restoring the database to the new version, you can upgrade with just a few clicks in the Amazon RDS Management Console or by using the A
コインリストでセールをおこなったNEARブロックチェーンのレイヤー2であるAURORA。 NEARはイーサリアムなどのブロックチェーンと互換性はありませんが、EVM互換のあるAURORAを介してイーサリアムのネットワークと接続することができます。 今回は、「AURORA is NEAR」AURORAトークンの紹介をしていきたいと思います。 AURORAトークン AURORAとはNEAR Protocolのチームによって作られた、NEARチェーンで展開しているレイヤー2のブロックチェーンです。 AURORAトークンはガバナンストークンとして使われる予定になっていて、AuroraDAOでの投票に使用されます。 AURORAトークンの総発行枚数は10億枚、トークンの割り当ては次のようになります。 参考＞＞AURORA Token Distribution アロケーション（割り当て） AURORA
AWSのアーキテクチャ図を描くときに意識していること
最初に 公式のガイドライン AWSが配布しているツールキットの中に基本的なガイドラインが記載されています。 描き方に正解はない こちらの記事のあるようにアーキテクチャ図に正解はなく、伝えたいことが適切に伝わるということが大切だと思います。 伝えたい内容や伝える相手によって重点や粒度を変えることを心がけています。 描画ツール diagrams.net（Draw.io）を使ってます。 意識していること アイコンは最新バージョンを使用する AWSのアイコンは定期にアップデートされるので最新のアイコンを使うようにします。 ちなみにdiagrams.netでEC2と調べると古いアイコンが先頭に出てきたので意識していないとこちらを使いがちかもです。 アイコンのバージョンを混ぜない アイコンは最新バージョンを使用すると同じような内容ですが、複数バージョンのアイコンが混在しないようにします。以下の図ではE
Aurora MySQL 5.6のサポート終了とゼロダウンタイムアップグレードへの挑戦 - Cybozu Inside Out | サイボウズエンジニアのブログ
こんにちは、グローバル向けAWS版kintoneのバックエンドエンジニアをしている@ueokandeです。 8月になって暑い日々が続きますね。そして8月と言えば、Amazon Aurora MySQL-Compatible Edition version 1 with MySQL 5.6 compatibility（以下Aurora MySQL 5.6）のサポート終了までおよそ半年となりました。 グローバル向けAWS版kintoneでは、Aurora MySQL 5.6を採用しているバックエンドサービスがいくつかあり、チームで移行作業に取り組んできました。この移行作業は単なるアップグレードだけではなく、ダウンタイムなしでデータベースを移行するチャレンジにも取り組みました。この記事ではAmazon Auroraの移行作業の全貌と、移行戦略を紹介します。 Aurora MySQL 5.6のサポ
エンジニアの業務効率をあげる！AWS CDKで作る本番Databaseを安全にクローンする方法 - AppBrew Tech Blog
こんにちは、AppBrewに業務委託で参加させてもらっているsnikiです。 本業ではヤフー株式会社でYahoo! JAPANアプリのバックエンド開発をやっています。 今回は、AWSのChatbot/Step Functions/CDK等を利用してAmazon Auroraをcloneするツールを作成したのでご紹介します。 背景 機能の説明 利用したAWSのサービスとシステム構成 この構成に至るまで slackのコマンドを受け付けるには cloneからmasking、instance class設定、通知まで Aurora Clone(Lambda) Aurora Masking(ECS) Modify Clone DB Instance Class(Lambda) Notify Slack(Lambda) 補足 なぜLamdaとECSが別れているのか インスタンスクラス変更のタスクは何？
Auroraバージョンアップに伴い改めてMySQL5.7の押さえるべきポイントについて勉強会を開催しました！ - ANDPAD Tech Blog
こんにちは！エンジニアの福間（fkm_y）です。 弊社でデータベースの技術顧問をして頂いている三谷（mita2）さんに、MySQL5.7の追加機能についての開発部向け勉強会を実施いただきましたのでそのレポートをお伝えします。 開催背景 弊社では三谷さんによるデータベース勉強会を定期的に開催しており、3月にもMySQLロックの基礎編の勉強会を開催しました。 ANDPADでは、今年の4月にAurora MySQLをVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップを実施しました。 tech.andpad.co.jp Aurora MySQL Ver.2 になることで使えるようになった、MySQL5.7で追加された機能について開発者に知ってもらい、普段の開発に取り入れてもらうためにMySQL5.7の勉強会を開催することとしました。 今回は追加された150以上の新機能
はじめに このツイートに結構反響があったので、雑になるがとにかく自分の考えをダンプする。もともと書いていた記事はうっかりやらかしてデータロストした、泣きたい。 話をわかりやすくするために、ALB+ECS（Fargate）を使ってWebAPIと対比して説明しているが現実はもっと複雑である。 引用リツイートをもらえた部分などについてもアンサーっぽいことも書いていく。 AWS利用費と人件費の話 AWS上にWebAPIを構築する際に、AWS利用費の削減をモチベーションとしてApiGW+Lambda構成が、採用されることがある。確かにAWS利用費は下がるがApiGW+Lambda構成を設計〜運用するためにはAWSに関する知識の中でもとくに専門的な知識が必要になる。こういった人材を雇用または外部へ発注し続けることは人件費に跳ね返ってくる。 ApiGW+LambdaがWebAPIのための構成として唯一無
AURORA - A Potion For Love. An exclusive live studio performance for Vevo. Follow Vevo Facebook: http://www.facebook.com/VEVOUK Twitter: http://www.twitter.com/VEVO_UK Instagram: http://instagram.com/Vevo_UK Vevo Executive Producer: Nick Calafato Vevo Producer: Yomi Ogunsola Vevo Production Coordinator: Debbie Ijaduola Vevo Music & Talent: Alex Morley Vevo Design: Charlee Twigg / Bee Clark Vevo
Amazon Aurora MySQLの不具合でローカルディスクが枯渇しクエリが実行出来なくなった話 - Kaizen Platform 開発者ブログ
SRE Group Managerをしている前田です。今回の記事は当社で遭遇したAmazon Aurora MySQLの不具合の話になります。 3行まとめ Amazon Aurora MySQLのローカルストレージが異常な速度で消費、枯渇しクエリを実行するとエラーが発生するようになった 原因調査とAWSサポートへの問い合わせの結果、Aurora MySQL 2.10.0 の不具合と判明し、2.10.2へバージョンアップで解消 Auroraのローカルストレージは自動拡張されないので、残容量の監視をしましょう 事象発生と解決までを時系列で記載。 2021年10月、Auroraに対してクエリが実行出来なくなる 社内メンバーよりBIツールからAurora MySQLに対してのクエリがエラーになるとのことで、クエリに limit 100 を付けると実行出来、 limit 1000だと Error w
Python コードでアーキテクチャ図を生成できる Diagrams がめっちゃ便利！ - kakakakakku blog
「Diagrams」を使うと Python コードでアーキテクチャ図を生成できる．サポートされているアイコンセットがとても多く AWS や Google Cloud や Microsoft Azure もあれば，Kubernetes やプログラミング言語なども使える．試してみたけどめちゃくちゃ便利！まさに Diagram as Code だ✌️ diagrams.mingrammer.com セットアップ 「Diagrams」は Graphviz に依存しているため，macOS だと pip と brew ですぐにセットアップできる． $ pip install diagrams $ brew install graphviz 試してみた さっそく Examples を参考にアーキテクチャ図を作ってみた！ サンプル : AWS from diagrams import Cluster, D
RDS Aurora の sql_mode がデフォルト値に戻せない | GROUP DEV BLOG | TECHNO DIGITAL
坂東です。 ついさっきたまたま知ったんですけれど、MySQLのパラメーターに「sql_mode」なんてものがあるんですね。 SQL実行時にエラーや挙動の制御をしてくれる結構重要そうなやつ。 MySQL5.7のデフォルトは、 sql_mode=ONLY_FULL_GROUP_BY,STRICT_TRANS_TABLES,NO_ZERO_IN_DATE,NO_ZERO_DATE,ERROR_FOR_DIVISION_BY_ZERO,NO_AUTO_CREATE_USER,NO_ENGINE_SUBSTITUTION ※マイナーバージョンでも変わるみたい・・・ MySQL5.6は sql_mode=STRICT_TRANS_TABLES,NO_ENGINE_SUBSTITUTION RDS Auroraは sql_mode=0 Auroraはデフォルト値「なし」です。 なしってのもあれだけどON
Amazon Aurora PostgreSQL 互換エディションは、ラージオブジェクト (LO) モジュールをサポートするようになりました。LO モジュールは、ラージオブジェクト (LO や BLOB とも言われる) の管理をサポートします。 Amazon Aurora でサポートされるすべての PostgreSQL 拡張機能のデータベースバージョンごとのリストについては、AWS ユーザーガイドを参照してください。完全な機能のリストについては、機能ページを参照してください。Amazon Aurora がサポートされているすべてのリージョンについては、リージョンページを参照してください。 Amazon Aurora は、MySQL および PostgreSQL との完全な互換性を確保し、圧倒的な高パフォーマンスおよび可用性をグローバル規模で実現するよう設計されています。このサービスは、組み
新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.06.16 技術記事 新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] by Keijun Kumagai #infrastructure #aurora #aws #database #technical-verification #game-infrastructure #infra-quality こんにちは！IT基盤部の k-jun です。IT基盤部にて大規模ゲームのインフラを見ているインフラエンジニアです。この記事では、2022/04/21 に GA となった AWS の新サービス Aurora Serverless v2 に対して行った技術検証とその調査結果をご紹介させて頂きます。 Aurora Serverless v2 とは Aurora Serverless v2 は Amazon Aurora のオンデマン
![新サービス Aurora Serverless v2 の検証とその評価 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/edc2033bd2be270f3538bbd3e3b9bd2d546575d4/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F06%2Faurora-serverless-v2%2Fcover.png)
2022.4.22 に Aurora Serverless v2 が GA された。 以前から気になっていた機能なので特徴について気になった点をまとめてみた。 Disclaimer 2022.4.22 時点での情報です。最新の情報は公式ドキュメントを参照してください。 本記事では網羅性はあまり意識していません。繰り返しになりますが、詳細は公式ドキュメントを参照してください。 Aurora Serverless v2 の主な機能概要 負荷に応じてインスタンスタイプが自動的にスケールアップ Provisioned インスタンスと Serverless インスタンスを混在して一つのクラスタに配置できる v1 と比較してよりきめ細やかな Option が指定可能(インスタンスタイプ、Global Database の指定等) ※ Disclaimer でも触れた通り網羅性は意識していません 1.
![[祝GA!] Aurora Serverless v2 の特徴まとめ](https://cdn-ak-scissors.b.st-hatena.com/image/square/e8bdb70ce2faec911855cef199582d01cb243e39/height=288;version=1;width=512/https%3A%2F%2Fwhnyab.com%2Fstatic%2F555ae1058d9c5bdb7e4d6dbc031f8384%2Ftitle.png)
ANDPADでのAurora MySQL Ver.2へのバージョンアップ - ANDPAD Tech Blog
こんにちは、最近ランニングをサボって体重が増えたANDPADのDBRE植木です。 秋にはフルマラソンに再チャレンジする予定なので改めて頑張ります。 今回はGW前にANDPADでAurora MySQL（以下、Aurora）をVer.1（MySQL5.6互換）からVer.2（5.7互換）にバージョンアップした件について書かせていただきます。DBMSのバージョンアップで重要なのは９割以上準備作業ですが、スタートアップ企業などでは必要な準備ややっておいた方が良い事などがわからないことも多いかと思います。ANDPADに入社して約一年になりますが、その一年の間に実施した準備の話などにも重みを置いて記事を書いてみました。 ANDPAD及びそのシステムについて AuroraバージョンアップのEOLについて バージョンアップ前にやるべきおすすめ 1. DBのエンドポイント指定をCNAMEにする 2. イン
ステージング環境における検証用データベースの立ち上げを自動化する取り組み - KAYAC engineers' blog
SREチーム(新卒)の市川恭佑です。 カヤックのサービスでは、信頼性の担保を目的として、ステージング環境を作成する方針を取っています。 ステージング環境では、検証の精度を高めるために、量・質ともに本番環境に類似したデータベースが求められる局面が頻出します。 そこで今回は、Tonamel という自社サービスにおける、検証用データベースの立ち上げを自動化する取り組みについて紹介します。 サービスの置かれていた状況と解決方針 Tonamel の実行基盤は Amazon Web Services (AWS) 上にあり、本番環境とステージング環境は別のアカウントとして、同一の AWS Organizations 組織内に構築されています。 もともと、ステージング環境では、本番環境のデータは利用せず、手作業でダミーデータを作成していました。 それゆえに、データベースに格納されているデータ量は本番環境と
Amazon RDS Proxy が BASE にもたらした期待以上の導入メリット - BASEプロダクトチームブログ
はじめに 基盤チームでバックエンドエンジニアをやっている松田（ @tadamatu ）です。 以前にCTO川口が当ブログ内で公開した以下の記事があります。 devblog.thebase.in 新規接続の限界 BASE のアクセス量の伸びは凄まじくこの構成でも接続エラーが発生するようになってしまいました。 ピーク時に秒間 2 万もの新規接続が primary インスタンスへ行われているといった状態です。 この記事が公開されたのが約２年前で、当時100万程度 だったショップ数は170万を超え、我々はまだまだ伸ばしたいと考えています。 これは、ショップ数の伸びとともに、指数関数的に増えていくユーザのアクセスを捌く必要があることを意味します。 ブログ公開当時、我々はさまざまな検討の末、以下のような対策を取りました。 残された手段は primary のインスタンスに対しての接続数を如何にして減らす
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について - Qiita
Software Design (ソフトウェアデザイン) 2022年06月号の「後悔しないAWSデータベースの選び方 RDSとDynamoDB，使い分けのポイントを徹底解説」について AWSRDSnosqlDynamoDBAurora 初めに TwitterのDB界隈で少し話題になっていた特集の記事について、個人的に気になった指摘事項の一覧です。 記事自体は限られた紙面数で簡潔に読みやすくまとまっており、特にAurora/RDSについては要注意なポイントについてもまとめられていてわかりやすいものでした。 しかしながら、私知識と経験の範囲内での判断で、説明不足や技術的に誤解を招く表現等が見られたのでまとめてみます。 ※執筆者は普段の業務も忙しい中で限られた時間、紙面数で対象読者に向けて記事をまとめるので必死でしたでしょうし、どんな人でもどうしても経験や知識の範囲は限られてしまうことから、誰も
AURORA - The Woman I Am (Live) | Vevo Studio Performance - YouTube
AURORA - The Woman I Am. An exclusive live studio performance for Vevo. Follow AURORA Instagram: https://Aurora.lnk.to/insta Twitter: https://Aurora.lnk.to/tweets Facebook: https://Aurora.lnk.to/facebook Follow Vevo Facebook: http://www.facebook.com/VEVOUK Twitter: http://www.twitter.com/VEVO_UK Instagram: http://instagram.com/Vevo_UK Vevo Executive Producer: Nick Calafato Vevo Producer: Yomi
Aurora Serverless v2 にて RDS Proxy が対応していたので触ってみた | DevelopersIO
こんにちは、大前です。 先日、 Aurora Serverless v2 が晴れて GA となりました。 ドキュメントを眺めていたところ、Aurora Serverless v2 では、v1 で非対応だった RDS Proxy に対応しているらしいため、触ってみたいと思います。 You can use RDS Proxy with Aurora Serverless v2 clusters but not with Aurora Serverless v1 clusters. 引用 : Quotas and limitations for RDS Proxy - Amazon Aurora やってみた 以下の流れで進めます。細かい手順は省いているところもありますのでご了承ください。 Aurora Serverless v2 クラスターの作成 Secrets Manager にてシークレット
［速報］Google、Amazon Auroraに対抗する高性能DB「AlloyDB for PostgreSQL」発表。通常のPostgreSQLよりOLTPが4倍高速、OLAPが100倍高速と
Google Cloudは開催中のイベント「Google I/O 2022」で、PostgreSQLフル互換の高性能な新データベースサービス「AlloyDB for PostgreSQL」のプレビューリリースを発表しました。 Google Cloudは以前からPostgreSQLのマネージドサービス「Cloud SQL for PostgreSQL」を提供しています。今回発表された「AlloyDB for PostgreSQL」は、Googleのクラウドインフラや機械学習の技術を積極的に投入し、より高性能かつミッションクリティカル向けのデータベースサービスとして構築したものです。 AWSと比較するならば、一般用途向けのデータベースサービスである「Amazon RDS」に対抗するのがGoogle Cloudの「Cloud SQL」であり、データベースをクラウドネイティブなアーキテクチャとして
Amazon Aurora Serverless v2で監視すべきCloudWatchメトリクス | DevelopersIO
Amazon Aurora Serverless v2は最大・最小キャパシティを指定すると、負荷に応じてキャパシティがオートスケールします。 インスタンスサイズを明示的に指定するプロビジョン型ほど慎重にサイジングする必要はありませんが、最大・最小キャパシティが適切かメトリクスを確認する必要があります。 そのような用途に使えるメトリクスを紹介します。 Aurora Serverless v2を監視・サイジングする上で注意すべきこと インスタンスごとにメトリクスを取得可能 Amazon Aurora Serverless v1はクラスター単位で作成しましたが、 Amazon Aurora Serverless v2はDBインスタンス単位で作成します。 そのため、Serverlessの各種メトリクスは、クラスター単位だけでなく、DBインスタンス単位でも取得できます。 ACUの指定はクラスター単位
はじめに こんにちは、山田です。 現在携わっている案件で、Amazon Auroraを使用する機会があったため、Amazon Aurraについて学習しました。 今回学習したことを忘れないように、記事にまとめていきます。 Amazon Auroraとは Amazon Auroraとは、クラウド向けにAWSが構築したデータベースです。 RDSを作成する際に、データベースエンジンの１つとしてAuroraを選択できます。 Auroraの特徴 Auroraの特徴としては、主に以下の点が挙げられます。 ・Aurora DBクラスターは、1つ以上のDBインスタンスと、データを管理するクラスターボリュームで構成される。 ・インスタンスとストレージとボリュームが分離している。 ・読み込み処理およびフェイルオーバーが可能なAuroraレプリカが作成可能。 ・データボリュームは、3AZに2個ずつ、計６個のコピー
PostgreSQLエンジンでAuroraとRDSでpgbenchを使った負荷テストを行った。 テスト環境 クライアント pgbench (PostgreSQL) 14.2 (Ubuntu 14.2-1ubuntu1) EC2のc5.2xlargeインスタンスから実行 クライアントインスタンスの性能上限には引っかかっていないことは確認 以下のようなスクリプトを実行 スケールファクター: 100 トランザクションタイプ: デフォルト（TPC-B like） #!/bin/bash . .rds for i in 8 16 32 48 64; do echo "--- $(date +%FT%TZ) RDS $i" pgbench -i -s 100 -q pgbench -c $i -T 210 sleep 60 done echo "--- $(date +%FT%TZ) RDS end"
当ブログサイト(DevelopersIO)のDBを「Aurora Serverless v2」に移行してみた | DevelopersIO
AWSチームのすずきりょうです。 当ブログサイトの「DevelopersIO」2015年より記事のデータベースとして Amazon Aurora を利用しています。 先週一般公開された Aurora Serverless v2 への移行する機会がありましたので、紹介させていただきます。 事前準備 Aurora Serverless v2 をサポートする DBエンジンへのアップグレードを実施しました。 切替作業 Serverless v2 リーダーの追加 DBインスタンスクラス「Serverless v2」のリーダー(リードレプリカインスタンス)を追加しました。 フェイルオーバ優先順位は「tier-1」、ライターインスタンスと同等のDB性能を維持する指定としました。 「db.r6g.large」(vCPU:2、メモリ:16GiB)のライターでは、「tier-1」指定の 「Serverless
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
サーバダウンしたニコニコ漫画に何が起きていたのか - BOOK☆WALKER inside
Amazon Aurora MySQL supports faster export to S3
AURORA 仮想通貨|特徴・基本情報を解説【AURORA is NEAR】 | Coinpeak
WebAPIを構築する際にAPI Gateway+Lambdaを選択するべきか？
AURORA - A Potion For Love (Live Performance) - YouTube
Amazon Aurora PostgreSQL が LO モジュールをサポート
[祝GA!] Aurora Serverless v2 の特徴まとめ
Amazon Auroraについてまとめてみました。 - Qiita
PostgreSQLエンジンでのAuroraとRDSのベンチマーク - so what