Leverage pgvector and Amazon Aurora PostgreSQL for Natural Language Processing, Chatbots and Sentiment Analysis | Amazon Web Services
AWS Database Blog Leverage pgvector and Amazon Aurora PostgreSQL for Natural Language Processing, Chatbots and Sentiment Analysis March 2024: This post was reviewed and updated to include Amazon Bedrock models (Titan and Anthropic Claude). Generative AI – a category of artificial intelligence algorithms that can generate new content based on existing data — has been hailed as the next frontier for
非アクティブな Amazon Aurora PostgreSQL ユーザーの管理 | Amazon Web Services
Amazon Web Services ブログ 非アクティブな Amazon Aurora PostgreSQL ユーザーの管理 データはあらゆる組織にとって最も貴重な資産の 1 つであり、データを安全に保つことは常に最優先事項です。データベースの一般的なセキュリティ要件の 1 つは、ユーザーアクセスを制限することです。データベースユーザーが危険にさらされた場合、データに重大な損害を与える可能性があるからです。データベースユーザーの最小権限モデルに沿って実行する必要があります。つまり、作業に必要な一連の最小権限のみをユーザーに付与します。また、データベースユーザーが長期間非アクティブである場合は、無効にすることをお勧めします。これにより、ミスやセキュリティ違反による影響を制限できます。詳細については、PostgreSQL ユーザーとロールの管理を参照してください。 この記事では、アクティブ
How Panasonic Avionics used Amazon Aurora MySQL to modernize their environment | Amazon Web Services
AWS Database Blog How Panasonic Avionics used Amazon Aurora MySQL to modernize their environment This is a guest post by Jeremy Welch, Data Software Engineer Sr. Staff on the Cloud, Data Management And Governance team with Panasonic Avionics Corporation, in partnership with AWS Sr. Database Solutions Architect Saikat Banerjee and Sr. Partner SA (Database) Venkatesh Periyathambi. Panasonic Avionics
Amazon Aurora: Design Considerations + On Avoiding Distributed Consensus for I/Os, Commits, and Membership Changes
On distributed systems broadly defined and other curiosities. The opinions on this site are my own. Amazon Aurora: Design Considerations + On Avoiding Distributed Consensus for I/Os, Commits, and Membership Changes Amazon Aurora is a high-throughput cloud-native relational database. I will summarize its design as covered by the Sigmod 17 and Sigmod 18 papers from the Aurora team. Aurora uses MySQL
Amazon Aurora PostgreSQL blue/green deployment using fast database cloning | Amazon Web Services
AWS Database Blog Amazon Aurora PostgreSQL blue/green deployment using fast database cloning December, 2023: Amazon Relational Database Service (Amazon RDS) now supports Amazon RDS Blue/Green Deployments to help you with safer, simpler, and faster updates to your Amazon Aurora and Amazon RDS databases. Blue/Green Deployments create a fully managed staging environment that allows you to deploy and
QGISとAmazon AuroraのPostgreSQL&PostGISを利用してジオデータを表示してみた - Qiita
QGISとAmazon AuroraのPostgreSQL&PostGISを利用してジオデータを表示してみました 2年くらい前に「QGISとCloud SQLのPostgreSQL&PostGISを利用してジオデータを表示してみた」という記事を書いたのを思い出して、今回はAmazon AuroraでPostgreSQL&PostGISデータベースを構築しQGISで表示してみました！ Amazon Auroraの設定 はじめに、Amazon Auroraでデータベースを作成します。 AWSコンソールでAmazon RDSに移動し「データベースの作成」をクリックします。次に、標準作成・Amazon Aurora・PostgreSQL・プロビジョニング済み・PostgreSQL 13.3・開発/テストを選択します。 DBクラスタ名・ユーザー名・パスワードを設定します。それ以外はデフォルトに設定。
Amazon RDS Blue/Green Deployments で Amazon Aurora PostgreSQL のメジャーバージョンアップをしてみた | DevelopersIO
Amazon RDS Blue/Green Deployments で Amazon Aurora PostgreSQL のメジャーバージョンアップをしてみた 短いダウンタイムでメジャーバージョンアップを行いたい こんにちは、のんピ(@non____97)です。 皆さんはAmazon Aurora PostgreSQLを短いダウンタイムでメジャーバージョンアップしたいなと思ったことはありますか? 私はあります。 インプレースアップグレードで行うと、数十分ほどダウンタイムが発生します。よりダウンタイムを短くしようとするとDMSやPostgreSQLの機能で論理レプリケーションをして、DNSレコードを切り替えるといった方法があります。しかし、それは中々準備が大変です。 そんな時に役立つのがRDS Blue/Green Deploymentsです。ワークロードにもよりますが、RDS Blue/G
Amazon Aurora が Graviton3 搭載インスタンス(R7g)をサポートしました | DevelopersIO
「db.r7g.large SQL statistics: queries performed: read: 2584596 write: 727060 other: 380212 total: 3691868 transactions: 184495 (614.95 per sec.) queries: 3691868 (12305.59 per sec.) ignored errors: 119 (0.40 per sec.) reconnects: 0 (0.00 per sec.) General statistics: total time: 300.0142s total number of events: 184495 Latency (ms): min: 5.14 avg: 13.01 max: 221.99 95th percentile: 20.37 sum: 2399
Amazon Aurora PostgreSQL 互換エディションが、ダウンタイムなしのパッチ適用 (ZDP) に対応しました。ZDP により、新しいバージョンの PostgreSQL へのアップグレードや Aurora クラスターへのパッチ適用をダウンタイムなしで行えるようになります。 ZDP では、データベースエンジンの再起動中もクライアントとの接続が保たれます。この機能により、ビジネスの継続性を維持しながら、これまでより頻繁にクラスターを PostgreSQL の最新マイナーバージョンにアップグレードすることが可能になります。ZDP はデータベースのマイナーバージョンのアップグレードおよびパッチ適用を行う際、対象のデータベースバージョンが実行されているすべてのリージョンの Aurora クラスターで機能します。詳細については、Aurora のドキュメントをご覧ください。 Amazon
AWS announces Amazon Aurora Optimized Reads for Aurora PostgreSQL, a new price-performance capability available on new r6gd and r6id instances that delivers up to 8x improved query latency and up to 30% cost savings compared to instances without it, for applications with large datasets that exceed the memory capacity of a database instance. Optimized Reads uses the local NVMe-based SSD block-level
Automate benchmark tests for Amazon Aurora PostgreSQL – Part 2 | Amazon Web Services
AWS Database Blog Automate benchmark tests for Amazon Aurora PostgreSQL – Part 2 This post is a continuation of Automate benchmark tests for Amazon Aurora PostgreSQL. To recap, optimizing a database is an important activity for new and existing application workloads. You need to take cost, operations, performance, security, and reliability into consideration. Conducting benchmarks help with these
Amazon Aurora Multi-Masterが東京リージョンにやってきました！ | DevelopersIO
こんにちは！家トレにハマりまくってる恩塚です。 こちらの記事で紹介されているAmazon Aurora Multi-Masterが東京リージョンでも使えるようになりました！ 【新サービス】Amazon Aurora Multi-Masterが一般公開になりました Multi-Masterってなんぞ？ Auroraでマスターをマルチにすることができます。つまり書き込みできるインスタンスが複数になります。 Single-Masterの構成(マスターが1つとリードレプリカが1つ以上)と比較してみると次にあげるようなことが構築次第で実現できます。 書き込み性能の向上 AZ障害などでマスターが1つ停止してもアプリケーション側でリトライするようにしておくとダウンタイム0 アクセスするデータによってDBインスタンスを固定する(シャーディング) データを意識せずにDBインスタンスに跨ってリクエストを分散さ
Aurora リードレプリカを使用した、RDS for MySQL DB インスタンスから Amazon Aurora MySQL DB クラスターへのデータの移行 - Amazon Aurora
Aurora リードレプリカを使用した、RDS for MySQL DB インスタンスから Amazon Aurora MySQL DB クラスターへのデータの移行 Aurora は、MySQL DB エンジンのバイナリログレプリケーション機能を使用して、ソース RDS for MySQL DB インスタンスの Aurora リードレプリカと呼ばれる特殊なタイプの DB クラスターを作成します。ソース RDS for MySQL DB インスタンスに加えられた更新は、Aurora リードレプリカに非同期的にレプリケートされます。 ソース RDS for MySQL DB インスタンスの Aurora リードレプリカを作成して RDS for MySQL DB インスタンスから Aurora MySQL DB クラスターに移行する場合は、この機能を使用することをお勧めします。RDS for
Amazon Aurora DB クラスターの場合、DB クラスターの作成方法に関係なく、デフォルトのバックアップ保持期間は 1 日です。 Aurora の自動バックアップを無効にすることはできません。Aurora のバックアップ保持期間は、DB クラスターによって管理されます。 バックアップストレージのコストは、保持する Aurora バックアップおよびスナップショットのデータとその保持期間に応じて異なります。Aurora バックアップおよびスナップショットに伴うストレージの詳細については、「Amazon Aurora バックアップストレージの使用状況を確認する」を参照してください。Aurora バックアップストレージの料金情報については、「Amazon RDS for Aurora の料金」を参照してください。Aurora クラスターを削除した後で、このクラスターに関連するスナップショ
[レポート] Amazon Aurora Limitless Database によるスケールの実現 #AWSreinvent #DAT344 | DevelopersIO
[レポート] Amazon Aurora Limitless Database によるスケールの実現 #AWSreinvent #DAT344 ウィスキー、シガー、パイプをこよなく愛する大栗です。 私はアメリカのラスベガスで開催している Amazon Web Services のグローバル カンファレンス re:Invent に来ています。書き込みをスケールすることができる Amazon Aurora Limitless Database についてのセッションに参加したためレポートします。 Monday Night Live で Aurora のストレージを司る Grover やスケールアップが可能なハイパーバイザの Caspain が発表されて、その先にある Aurora Limitless Database が発表されたばかりという状態で、現時点で最も詳しい情報のセッションだったと思わ
![[レポート] Amazon Aurora Limitless Database によるスケールの実現 #AWSreinvent #DAT344 | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/2efed04be58c890b30e2b72fa65ffa4b49765237/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2023%2F11%2Feyecatch_reinvent-2023-session-report.png)
Amazon Aurora Limitless Database のプレビューが公開 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora Limitless Database のプレビューが公開 Amazon Aurora Limitless Database のプレビューを開始しました。Aurora Limitless Database は自動水平スケーリングをサポートする新機能であり、1 秒間に数百万件の書き込みトランザクションを処理し、1 つの Aurora データベースでペタバイト規模のデータを管理できるようにします。 Amazon Aurora リードレプリカを使用すると、1 つのデータベースインスタンスが提供できる上限を超えて、Aurora クラスターの読み込みキャパシティを増やせます。今回、Aurora Limitless Database によって、データベースの書き込みスループットとストレージ容量を単一の Aurora ライターイン
本特集では、SBI生命保険のITエンジニアが現場で編み出したAmazon Web Services（AWS）のコストを抑えるテクニックを紹介する。今回はAWSのリレーショナルデータベースサービス「Amazon Aurora」（以下、Aurora）のコスト削減を取り上げる。 Auroraの料金体系は、利用した分だけ課金される従量課金制である。Auroraを利用する際は、従量課金制について頭では分かっているものの見落としがちなポイントがある。それが「使用したリソースは1秒単位で課金（最小1分）」という料金体系だ。 Auroraのコストは、（1）インスタンスの利用コスト、（2）ストレージのコスト、（3）I/Oのリクエストコスト、という3つの要素を考えなければならない。ここでは、インスタンスの利用コストに焦点を当てて削減テクニックを説明する。 単純だが削減効果は大きい まずAuroraの料金体系を
垂直スケーラビリティと効果的なテストによる金融取引システムのパフォーマンスと効率の最大化 Peter Lawrey氏はJavaチャンピオンであり、Chronicle SoftwareのCEOとして、開発者を鼓舞してソリューションのクラフトマンシップを高めることに情熱を注いでいる。経験豊富なソフトウェアエンジニアとして、Lawrey氏はソフトウェア開発プロセスにおけるシンプルさ、パフォーマンス、創造性、革新性を奨励することに努めている。
Amazon Aurora Serverless v2とそれ以外を比較（v1 / v2 / Provisioned） - Qiita
はじめに Auroraを構成するにあたり、ProvisionedとServerlessを比較検討したのでその内容を記事にしています。 記載している制約やサポートバージョンは2023/10/23時点の公式ページを元にしています。 Auroraの種類 AuroraにはMySQL互換／PostgreSQL互換のそれぞれに対し3種類の稼働方式が存在します。 従来からあるサーバーを常時稼働させる「Provisioned」 アプリからのニーズに応じてサーバーの起動停止／スケールアップダウンが自動化できる「Serverless v1」 Serverless v1の性能課題を解決し、より使いやすくなったものの新たな制約も発生した「Serverless v2」 仕様比較表 比較項目 Provisioned Serverless v1 Serverless v2
Amazon Aurora のポート番号設定を変更する際にダウンタイムが発生するか教えてください | DevelopersIO
困っていた内容 Aurora MySQL のデフォルトポート番号 3306 を他ポート番号へ変更したいのですが、ポート番号変更時にダウンタイムが発生するか教えてください。 結論 Aurora クラスターのポート番号を変更する際には、ダウンタイムが発生します。 Amazon Aurora の設定 AWS Management Console の使用、コンソール、CLI、API を使用した DB クラスターの変更。 AWS CLI を使用して、modify-db-cluster を実行し、--port オプションを設定します。 RDS API を使用して、ModifyDBCluster を呼び出し、Port パラメータを設定します。 設定と説明 方法 スコープ ダウンタイムに関する注意 検証してみた どのようにインスタンスのステータスが変化し、どれくらいの時間ダウンタイムが発生するかを検証環境
Amazon GuardDuty RDS Protection for Amazon Aurora is now generally available
Amazon GuardDuty broadens threat detection coverage to help you protect your data residing in Amazon Aurora databases. GuardDuty RDS Protection is designed to profile and monitor access activity to Aurora databases in your AWS account without impacting database performance. Using tailored machine learning models and integrated threat intelligence, GuardDuty can detect potential threats such as hig
Amazon Aurora MySQL 5.7 Now Supports Zero-Downtime Patching
Amazon Aurora zero-downtime patching (ZDP), which attempts to preserve client connections through an engine patch, is now supported on Aurora MySQL engine release 2.07 and above. When ZDP executes successfully, application sessions are preserved and the database engine restarts while patching. Read the Aurora documentation to learn more. Amazon Aurora combines the performance and availability of h
データベースの高速かつ効率的なクローン化のために、Amazon Aurora DB クラスターをほかの AWS アカウントと共有できるようになりました。 データベースのクローン化は、スナップショットを復元するよりも速く、作成時に追加のスペースを必要としません。クローン化した DB クラスターでデータを変更した場合に、追加のストレージに対してのみ課金されます。アカウント間のデータベースのクローニングは、本番稼働用とテスト用に別々のアカウントがある場合などに便利です。クローンを使用すると、スキーマの変更を検証し、さまざまなパラメータをテストし、本番稼働用データに対して分析クエリを実行できます。本番稼働用アカウントに直接アクセスしたり、プロダクションデータベースのパフォーマンスに影響を与えたりすることはありません。 Amazon Aurora の MySQL 互換エディションおよび Postgr
Amazon Aurora I/O-Optimized で Aurora のコスト最適化を実際に行った結果 - サーバーワークスエンジニアブログ
マネージドサービス部 佐竹です。 Amazon Aurora I/O-Optimized オプションを本番環境に適用することで、Aurora のコストを年間200万円超も下げることに成功しました。そのために行った調査・対応とその結果をまとめてご報告します。 はじめに Amazon Aurora I/O-Optimized とは何か I/O リクエストが請求で問題になる場合 Aurora I/O-Optimized で I/O リクエストのコスト削減が可能に Cost Explorer で切り替えの判断を行う 設定方法 1. 対応 DB インスタンス 2. 対応 DB エンジンバージョン 3. 切り替えは30日に1回のみ 4. 切り替え時にダウンタイムは発生しない I/O-Optimized へ変更する 変更に関する留意事項 コスト削減結果 InstanceUsage の表記が変わる まとめ
Increase visibility of performance and events on Amazon RDS and Amazon Aurora | Amazon Web Services
AWS Database Blog Increase visibility of performance and events on Amazon RDS and Amazon Aurora Customers often ask how they can improve visibility and monitorability of workload performance, as well as scheduled and unscheduled events, on Amazon Relational Database Service (Amazon RDS) and Amazon Aurora databases. This post provides insight into how to proactively enable and set the instrumentati
Amazon RDS Performance Insights が MySQL 互換の Amazon Aurora で SQL レベルのメトリクスのサポートを開始
Amazon RDS Performance Insights が、クラウド向けに構築したリレーショナルデータベースの MySQL 互換性を備えた Amazon Aurora で、SQL レベルのメトリクスのサポートを開始しました。RDS Performance Insights の SQL レベルのメトリクスを使用すると、高い頻度で起こる SQL クエリ、長時間実行している SQL クエリ、スタックしている SQL クエリを数秒で特定できます。 従来、データベース上のパフォーマンスデータを収集するには、モニタリング用アプリケーションと関連リソースの定義およびメインテナンスが必要でした。特別な経験を持たずパフォーマンスデータの関連付けを行うには、数時間もかかっていました。停止していたり実行に時間がかかっているような、問題がある SQL クエリを見つけるということは、一度に 1 つずつクエリ
Aurora MySQL version 3 compatible with MySQL 8.0 - Amazon Aurora
You can use Aurora MySQL version 3 to get the latest MySQL-compatible features, performance enhancements, and bug fixes. Following, you can learn about Aurora MySQL version 3, with MySQL 8.0 compatibility. You can learn how to upgrade your clusters and applications to Aurora MySQL version 3. Some Aurora features, such as Aurora Serverless v2, require Aurora MySQL version 3. Features from MySQL 8.0
[アップデート] Amazon Auroraがdb.r5.8xl/db.r5.16xl/db.r5.24xlをサポートしました | DevelopersIO
R5インスタンスはAWS Nitro Systemを使用した最新世代のインスタンスクラスで、メモリ消費の高いアプリケーションに最適化されたものです。特にネットワークとAmazon EBSのパフォーマンスが強化されています。 これまでのR5インスタンスクラスの最大のタイプはdb.r5.12xlargeでした。今回db.r5.16xlargeとdb.r5.24xlargeに対応したことで、更にハイパフォーマンスを要求するシステムでもAuroraを利用できるようになります。 さいごに Amazon Auroraはユースケースが拡大したことで、より早くより大きなインスタンスタイプが求められるようになってきました。今回のアップデートで更にユースケースの幅が広がると思います。
[開催報告] 11月27日 AWS Purpose Built Database Webinar「Amazon Aurora/RDS のコスト最適化 」 | Amazon Web Services
Amazon Web Services ブログ [開催報告] 11月27日 AWS Purpose Built Database Webinar「Amazon Aurora/RDS のコスト最適化 」 先日(2023/11/27) 「Amazon Aurora/RDS のコスト最適化 」無料セミナーを開催しました。本セッションでは、Amazon Aurora/RDS を長期間運用するにあたってのコスト最適化のポイントや、安定運用のコツについてご紹介しました。 アジェンダは以下の通りで実施しております。 Amazon Aurora/RDS でのコストの最適化 Amazon RDS/Auroraのアーキテクチャー概要 Amazon RDSコスト最適化アプローチ Amazon Aurora コスト最適化アプローチ Aurora Serverless v2 Aurora I/O-Optimized
Amazon Aurora now supports automatic backup of deleted clusters
Amazon Aurora MySQL-Compatible and PostgreSQL-Compatible editions now supports automatic backups for deleted clusters. Customers can now choose to retain automatic backups when deleting an Aurora cluster, and later use it to restore a new cluster from it. Aurora Automatic backup takes a continuous backup of your database as you make changes, allowing you to restore to any point in time inside your
Field Notes: How to Set Up Your Cross-Account and Cross-Region Database for Amazon Aurora | Amazon Web Services
AWS Architecture Blog Field Notes: How to Set Up Your Cross-Account and Cross-Region Database for Amazon Aurora This post was co-written by Ashutosh Pateriya, Solution Architect at AWS and Nirmal Tomar, Principal Consultant at Infosys Technologies Ltd. Various organizations have stringent regulatory compliance obligations or business requirements that require an effective cross-account and cross-r
Aurora MySQL version numbers and special versions - Amazon Aurora
Although Aurora MySQL-Compatible Edition is compatible with the MySQL database engines, Aurora MySQL includes features and bug fixes that are specific to particular Aurora MySQL versions. Application developers can check the Aurora MySQL version in their applications by using SQL. Database administrators can check and specify Aurora MySQL versions when creating or upgrading Aurora MySQL DB cluster
Introducing the next version of Amazon Aurora Serverless in preview
Aurora Serverless v2 scales to hundreds of thousands of transactions in a fraction of a second, delivering up to 90% cost savings compared to provisioning for peak capacity. Aurora Serverless is an on-demand, auto-scaling configuration for Amazon Aurora. It automatically starts up, shuts down, and scales capacity up or down based on your application's needs. Amazon Aurora Serverless v2 provides th
[レポート]SVS333-R – Amazon Aurora Serverless & the Data APIに対応するサーバレスAPIの作成 #reinvent | DevelopersIO
どうも、DA事業本部の大澤です。 本エントリはAWS re:Invent 2019のビルダーズセッション「SVS333-R - [REPEAT] Build serverless APIs supported by Amazon Aurora Serverless & the Data API」のレポートです。 セッション概要 In this session, you build a simple yet functional API that leverages Amazon Aurora Serverless and the Data API. 意訳 このセッションでは、Amazon Aurora ServerlessとData APIを利用したシンプルだけども機能的なAPIを作成します。 スピーカー Marcilio Mendonca - Sr. Solutions Develope
![[レポート]SVS333-R – Amazon Aurora Serverless & the Data APIに対応するサーバレスAPIの作成 #reinvent | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
外部の MySQL データベースから Amazon Aurora MySQL DB クラスターへのデータ移行 - Amazon Aurora
データベースが InnoDB または MyISAM のテーブルスペースをサポートしている場合、これらのオプションを使用して、データを Amazon Aurora MySQL DB クラスターに移行できます。 mysqldump ユーティリティを使用してデータのダンプを作成し、そのデータを既存の Amazon Aurora MySQL DB クラスターにインポートできます。詳細については、「mysqldump を使用した MySQL から Amazon Aurora MySQL への論理的移行」を参照してください。 これで、データベースから Amazon S3 バケットに完全および増分バックアップファイルをコピーし、これらのファイルから Amazon Aurora MySQL DB クラスターを復元できます。このオプションは、mysqldump を使用したデータの移行よりもかなり高速になる場
Amazon Bedrock のナレッジベースで Amazon Aurora PostgreSQL および Cohere 埋め込みモデルのサポートを開始 | Amazon Web Services
Amazon Web Services ブログ Amazon Bedrock のナレッジベースで Amazon Aurora PostgreSQL および Cohere 埋め込みモデルのサポートを開始 2023 年の AWS re:Invent において、Amazon Bedrock のナレッジベース の一般提供の開始を発表しました。ナレッジベースを使用すると、Amazon Bedrock の基盤モデル (FM) をお客様の企業データに安全に接続して、検索拡張生成 (RAG) を実現できます。 私の過去の記事では、Amazon Bedrock のナレッジベースがエンドツーエンドの RAG ワークフローをどのように管理するのかについてご説明しました。次の図に示すように、データの場所を指定し、データをベクトル埋め込みに変換するために埋め込みモデルを選択して、ベクトルデータを保存するために、Am
Amazon Aurora はリレーショナルデータベースサービスで、高性能の商用データベースのスピードと可用性、およびオープンソースデータベースのシンプルさと費用対効果を兼ね備えています。Aurora は、MySQL および PostgreSQL と完全な互換性があり、既存のアプリケーションやツールを変更することなく実行することができます。 SysBench のような標準のベンチマークでテストした結果、同様のハードウェア上の標準的な MySQL と比べ最大 5 倍、標準的な PostgreSQL と比べ最大 3 倍のスループットの向上が見られました。Aurora には、利用可能なコンピューティング、メモリ、ネットワークをデータベースエンジンが最大限に活用できるよう、さまざまなソフトウェアおよびハードウェアの技術が使用されています。I/O オペレーションにはクォーラムのような分散型システム技
BigQuery Data Transfer Serviceを使ってAmazon AuroraからBigQueryにデータを転送する
やりたいこと Google AnalyticsやサービスのデータをもとにBigQueryで分析したい そのためにAmazon AuroraにあるデータをBigQueryに転送したい 分析用途なので転送頻度は1回/日以下で良い Auroraには追加で負荷があまりかからないようにしたい なるべくコードを書きたくない 方針 Auroraにあまり負荷をかけないようにしようとすると、Auroraが自動で取っている日次のスナップショットが活用できるんじゃないか？と考えた。ラッキーなことにこのスナップショットは、S3にExportすることができる（2020年1月ごろにできるようになった模様）。この機能ではスナップショットをPARQUET形式でExportされる。あまり詳しくないので軽く調べた感じだと、PARQUET形式はデータ容量的にかなり効率の良い形式だそうだ。 S3においたPARQUET形式のデータ
簡単な説明 Amazon Aurora クラスターは、数分以内に簡単に開始および停止できます。この機能は、常時実行している必要がないデータベースのコスト削減をサポートします。データベース (DB) クラスターは最大 7 日間まで停止できます。7 日間が経過した後に DB クラスターを手動で起動しない場合、DB クラスターは自動的に起動されます。これは、クラスターの必要なメンテナンス更新が遅れないようにするためです。 必要なメンテナンス更新を逃すことなく、Aurora クラスターを 7 日間を超える期間にわたって停止するには、次を実行します。 1. AWS Identity Access Management (IAM) の許可を設定して、AWS Lambda が次のことを実行できるようにします。インスタンスを起動します。インスタンスを停止します。インスタンスに関する情報を取得します。
本日より、Amazon Aurora MySQL には、最適化を行わない場合と比較してデータベースの再起動時間を最大 65% 短縮する最適化機能が搭載されます。これらの機能改善は、バッファプールの初期化と検証プロセスの一部を、データベースが既にオンラインになって接続を受け付けるようになった後に実行することで実現されます。これらの最適化により、予期しないデータベースの再起動などの予定外のイベントや、マイナーバージョンアップグレードなどの計画的な操作に対するデータベースの可用性が向上します。可用性のメリットについて詳しくは、「Reduce downtime with Amazon Aurora MySQL database restart time optimizations」(Amazon Aurora MySQL データベースの再起動時間の最適化によるダウンタイムの削減) というタイトルの
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Amazon Aurora PostgreSQL 互換エディションがダウンタイムなしのパッチ適用に対応
AWS announces Amazon Aurora PostgreSQL Optimized Reads
Aurora DB クラスターのバックアップと復元の概要 - Amazon Aurora
データベースのAmazon Aurora、確実にコストを減らす運用方法
Amazon Aurora、待望のRDS Data APIを導入しサーバーレス・ワークロードの簡素化へ
Amazon Aurora で AWS アカウント間でのクローン化のサポートが開始
リレーショナルデータベース - Amazon Aurora MySQL PostgreSQL の特徴 - AWS
7 日間を超える期間にわたって Amazon Aurora クラスターを停止する
Amazon Aurora MySQL にデータベースの再起動時間を最大 65% 短縮する最適化機能が搭載される