Amazon Aurora MySQLでテーブル再構築を伴う操作をするとテーブルが見えなくなるっぽい - GMOインターネットグループ グループ研究開発本部（次世代システム研究室）
2023.01.11 Amazon Aurora MySQLでテーブル再構築を伴う操作をするとテーブルが見えなくなるっぽい Amazon Aurora MySQLでテーブルの再構築を伴う操作を行うと，Readerインスタンスで瞬間的に対象のテーブルが見えなくなる場合があるので，オペレーションの実行タイミングに気をけましょう，というお話です。再構築を伴う操作には，一部のALTER TABLEやOPTIMIZE TABLEが含まれます。 こんにちは，S.T.です。Amazon Aurora MySQLで少し気になる現象を見かけたので紹介します。この現象を知っていれば回避できるので，クリティカルな影響があるということではないですが，将来直ってくれると嬉しいですね。 1.Amazon Aurora MySQLとは Amazon Aurora MySQLはAWSで利用できるマネージドのRDBです。コ
AWSで“データのサイロ化”を防げ すべてのデータを1ヶ所に集めるデータレイクの作り方
リーガルテック領域のリーディングカンパニーである株式会社LegalForceが、「検索インフラTechTalk!」を開催しました。インフラ領域の中でも「検索インフラ」にフォーカスした今回は、検索インフラに関する具体的な事例や取り組みについて各スピーカーから発表がありました。野口真吾氏は、AWSを用いたデータレイクの基礎について紹介しました。 企業規模に関係なく起こるデータのサイロ化 野口真吾氏（以下、野口）：みなさんこんばんは。本日は「検索インフラ Tech Talk!」ということで、検索インフラから少し広げた話題にはなるんですが、「AWSを用いたデータレイクの基礎」というお話をします。よろしくお願いします。 最初に簡単に自己紹介します。アマゾンウェブサービスジャパンでスタートアップ担当のソリューションアーキテクトをしている野口真吾と申します。Twitterでは＠nogというIDを使って活
Amazon Redshift の 可用性と耐久性について | DevelopersIO
はじめに 先日お客様よりRedshiftの構成や可用性、耐久性、データの復元などのご質問をいただきましたので 想定される障害についてどのような復旧対応が行われるのかまとめました。 引用はAmazon Redshift のよくある質問の 可用性と耐久性 から引用しています。 ドライブ障害 Q: 1 つのノードのドライブに障害が発生した場合、データウェアハウスクラスターの可用性とデータ耐久性はどうなりますか? Amazon Redshift データウェアハウスクラスターはドライブに障害が発生した場合でも継続して利用できますが、特定のクエリに対するパフォーマンスがわずかに低下します。ドライブに障害が発生すると、ノード内の他のドライブに格納されている障害ドライブのデータの複製が、透過的に使用されます。さらに、データを正常なドライブに移動させるか、移動できない場合はノードの交換が行われます。 単一ノ
RDS Proxyが無意味になる恐怖の現象「ピン留め」を回避するための基本的な設定値について | DevelopersIO
CX事業本部＠大阪の岩田です。 RDS Proxyを利用するとRDS ProxyにプールされたDB接続を複数のDBクライアントで使い回すことができ、限られたDB接続を効率的に利用することが可能になります。しかし複数のDBクライアントが安全にDB接続を共有できない場合、RDSProxyはコネクションプール内のDB接続を特定のDBクライアントに対して固定してしまいます。これが「ピン留め」と呼ばれる現象で、このピン留めが発生するとRDS Proxyを利用するメリットが失われてしまいます。 このブログでは「ピン留め」を回避するための基本的なパラメータ調整についてご紹介します。 環境 今回利用した環境です こちらのブログとほぼ同様の設定にしてクライアントからの同時接続数が実質1に制限されるようにしています。 RDS for PostgreSQL 11.8-R1 インスタンスクラス db.t3.mic
LambdaからRDS/RDBを利用する際に意識したいポイント5選 | DevelopersIO
こちらの記事はRDS ProxyがGAされる前に執筆した記事です。現在はLambdaからRDSを利用する場合、間にRDS Proxyを挟むという選択肢が増えているので、まずはRDS Proxyを使う/使わないの検討をお願いします。以後で紹介しているトピックの一部はRDS Proxy利用時は考え方が変わってきます。 CX事業本部@大阪の岩田です。私が現在関わっているプロジェクトではLambda × RDSというアーキテクチャを採用して開発を進めています。開発を進める中でLambda × RDS(RDB)という構成についてある程度ノウハウが貯まってきたので、注意したいポイントやオススメの設定をTIPS的に紹介していきます。 環境 以後の説明では以下の環境の一部もしくは組み合わせを利用しています。具体的なコードやSQLの例はプログラミング言語やDBエンジンに依存しますが、根底の考え方はどの言語、
amazon web services - SSDストレージを備えたEC2インスタンス上のAWSにMicrosoft SQL Serverをデプロイするためのベストプラクティス - 初心者向けチュートリアル
最高のパフォーマンスを得るために、tempdb、データベース、プログラムファイル、バックアップ、およびログを含むm5.xlarge上の1つのSSDドライブにSQL Server 2017をインストールするのは理にかなっていますか？ Amazon EBS仕様によると、SSDが大きいほどIOPS値が向上します。 https://aws.amazon.com/ebs/features/ 10個の300ギガバイトのディスクがある場合、それらのディスクに対して900 IOPSが得られるようです。 3000GBのディスクが1つある場合、AWSで9000 IOPSを取得します。 記事を読むたびに、別々のディスクパーティションを使用することをお勧めします https：// d1。 awsstatic.com/whitepapers/best-practices-for-deploying-microsof
RDS データベースに汎用 IOPS またはプロビジョンド IOPS のどちらを使用するかを決定するための CloudWatch メトリクスの使用方法 | Amazon Web Services
Amazon Web Services ブログ RDS データベースに汎用 IOPS またはプロビジョンド IOPS のどちらを使用するかを決定するための CloudWatch メトリクスの使用方法 このブログ記事では、最高のパフォーマンスのミッションクリティカルなデータベースワークロードに対して、IO1 としても知られるプロビジョンド IOPS からメリットを得ることができる機会を把握するために Amazon CloudWatch メトリクスを使用する方法について説明します。まず、バーストを生じない一貫性のある高書き込みワークロードをシミュレートするテストケースをセットアップすることから始めます。今回は、価格とパフォーマンスのバランスを保つ、GP2 ボリュームとしても知られる汎用ストレージを使ったデータベースと、IO1 ボリュームを使ったデータベースのパフォーマンスを比較します。次に
パフォーマンスではAuroraに軍配!? SRA OSS石井達夫氏がPostgreSQL版Auroraを徹底検証 | gihyo.jp
パフォーマンスではAuroraに軍配!? SRA OSS石井達夫氏がPostgreSQL版Auroraを徹底検証 2016年11月、米ラスベガスで開催されたAmazon Web Services（AWS）の年次カンファレンス「AWS re:Invent 2016」の初日、Amazonのアンディ・ジャシーCEOから発表されたいくつものアップデートの中でもとりわけ開発者を熱狂させた発表が、"Amazon Aurora PostgreSQL with Compatibility" ―AWSが誇るクラウドネイティブなデータベースエンジン「Amazon Aurora」にPostgreSQL互換バージョンがプレビューで提供されるというニュースでした。 「AWS reInvent 2016」でプレビュー版として発表されたPostgreSQL互換のAurora。AWSはユーザの要望にもとづいて機能拡張を行
[レポート]データベースもマイクロサービス化！Purpose-Built Databaseのススメ #reinvent [DAT209-L] | DevelopersIO
こんにちは。DA事業本部の春田です。 本記事は、AWS re:Invent2019の DAT209-L: Leadership session: AWS purpose-built databases のセッションレポートです。 The English version is here. 概要 In this session, Shawn Bice, VP of databases, discusses the AWS purpose-built database strategy and explains why your application should drive the requirements for which database(s) to use, not the other way around. Learn about the purpose of each AWS d
![[レポート]データベースもマイクロサービス化！Purpose-Built Databaseのススメ #reinvent [DAT209-L] | DevelopersIO](https://cdn-ak-scissors.b.st-hatena.com/image/square/9419c6cf4ac1d0e1323fa1560dfc995d191622f5/height=288;version=1;width=512/https%3A%2F%2Fdevio2023-media.developers.io%2Fwp-content%2Fuploads%2F2019%2F12%2Freinvent2019_report_eyecatch.jpg)
たくさんある AWS のデータベースサービスをどう選ぶ？ データベース選択のガイドライン - Qiita
はじめに AWSのデータベースサービスには多様な選択肢があり、ワークロードに応じて最適なサービスを選択する必要がありますが、一定の知識が無いとどれを選択すべきか分かりません。本記事では、AWS Summit Tokyo 2019 における AWS におけるデータベースの選択指針 - YouTube というセッションをベースに、AWSの各データベースサービスについて概要を理解し、データベース選択のガイドラインを説明したいと思います。 データベースの歴史 リレーショナルデータベース 1970年代後半〜1990年代前半にOracleやDB2(IBM)、SQL Server(Microsoft)、Access(Microsoft)などの商用リレーショナルデータベースが開発され、その後 2000年にかけてMySQLやPostgreSQLといったOSSのリレーショナルデータベースが登場しました。 No
Apache CassandraとAmazon DynamoDBの比較 | DevelopersIO
2012/1/23 updated Apache Cassandraとは？ Apache Cassandraは、2007年にAmazonによって発表されたDynamoに関する論文からインスパイアされて開発されたNoSQL分散データベースです。2008年にFacebook社によりオープンソースとして公開されました。スケーラビリティと高可用性を求めている方には適しています。線形の拡張性とフォールトトレラントを備えていて、クラウドやオンプレミス上で構築することができ、ミッションクリティカルなデータを保管することができます。Cassandraは、複数のデータセンターでの稼働をサポートしていて、低いレイテンシーでやり取りを行う事が出来ます。万が一の災害時にも安心です。 Amazon DynamoDBとは？ Amazon DynamoDBは、シームレスに拡張ができ、高速で予測可能なパフォーマンスを提供
[セッション詳説] Amazon DynamoDBのデータモデリング #CMY304 #reinvent | DevelopersIO
Data modeling with Amazon DynamoDB 本記事はre:Invent 2019のセッション「CMY304 - Data modeling with Amazon DynamoDB」を 開発者視点で噛み砕いた レポート兼解説記事です。 本記事ではセッション内容を元とした形の感想記事ですので、スピーカーが語っていない個人的な感想が多く含まれています。もしオリジナルの内容に絞った情報を知りたい場合は公式のセッション動画およびスライドの公開をお待ちいただければと思います。 Speaker Alex DeBrie (@alexbdebrie) Serverless Inc.のEngineering Manager, AWS Data Heroの方です。 DynamoDBのことが学べる「DynamoDBGuide」および「DynamoDBBook.com」を執筆されています
【公式】Amazon DynamoDBとは（マネージド NoSQL データベース）| AWS
この図は、Amazon DynamoDB の中核的な機能と、他の AWS のサービスとの統合を示しています。3 つのセクションが左から順に表示されます。 最初のセクションには、「主な機能を設定する」というタイトルのボックスと、その中に DynamoDB サービスのアイコンのイラストが表示されています。6 つのボックスが 2 列 3 行で表示され、ボックスごとに次の機能が表示されます。最初の列には、「NoSQL Workbench」という左上のボックス、「保管中の暗号化」という左中央のボックス、および「オンデマンドキャパシティモード」という左下のボックスがあります。2 番目の列には、「グローバルテーブル」という右上のボックス、「ポイントインタイムリカバリ」という右中央のボックス、および「PartiQL サポート」という右下のボックスがあります。それぞれ機能を含む 6 つのボックスの下、および
AWS クラウドへの移行時にデータベースコストを削減して可用性を向上させる | Amazon Web Services
Amazon Web Services ブログ AWS クラウドへの移行時にデータベースコストを削減して可用性を向上させる ログとクリックストリームのデータを保存するためにデータベーステーブルを使用するアプリケーションがあるとしましょう。開発タスクと管理タスクを容易にするためにリレーショナルデータベースにデータを保存するかもしれません。アプリケーションをカットオーバーすると、初めのうちはこのデータベースも管理可能ですが、データベースは毎週何百ギガバイトにも成長します。データの保存と取得だけでも、リレーショナルデータベースインスタンスの IOPS と CPU の 20 パーセントが消費されています。さらに、アプリケーションはトランザクションデータに加えて、データベーステーブルに XML ドキュメント、JSON ドキュメント、およびバイナリドキュメントも保存しています。履歴データも毎月増加し続
Amazon DynamoDB がニーズに合うかどうかを判断し、移行を計画する方法 | Amazon Web Services
Amazon Web Services ブログ Amazon DynamoDB がニーズに合うかどうかを判断し、移行を計画する方法 AWS CTO のワーナー・ヴォゲルスは、AWS の仕事は「企業の痛みを管理すること」だという冗談を言うことがよくあります。これは、AWS のお客様が直面する IT 面での課題の大半における本質を突く言葉です。「お客様に最大のメリットをもたらすことができるのはどこか」と呼び掛けるだけで、しばしばデータベースと関連するライセンス費用、パフォーマンスとスケーラビリティの管理、そして専門的なデータベース管理者の人件費に関する話し合いが始まります。Amazon DynamoDB などの完全マネージド型の NoSQL データベースサービスは、これらの課題に対応し、多くのメリットをもたらします。 このブログ記事では、お使いのアプリケーションに対するデータベースサービスの候
DynamoDB全くわからない、から、ちょっとわかるようになるまでの道しるべ | DevelopersIO
DynamoDBを利用するためのポイントをざっくりまとめた。 リンク集みたいな感じになっていますが、どこから手をつけて良いかわからない方は参考にしてみてください。 目次 DynamoDB概要 Amazon DynamoDB は、どのような規模でも信頼性が高いパフォーマンスを維持できる、非リレーショナルデータベースです。 完全マネージド型、マルチリージョン、マルチマスターのデータベースで、レイテンシーを 10 ミリ秒未満に維持でき、 組み込みのセキュリティ、バックアップと復元、インメモリキャッシュを利用できます。 Amazon DynamoDB DynamoDBの特徴 フルマネージドサービス データの格納と取得に特化（高度な最適化）されている 表結合など柔軟なクエリを発行するのは不得意 「値」とそれを取得するための「キー」だけを格納するというシンプルな機能を持った「Key-Valueストア」
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
DynamoDB の基礎と設計 / DynamoDB Design Practice
DynamoDB, explained.
コンセプトから学ぶAmazon DynamoDB の記事一覧 | DevelopersIO
Amazon RDS and Aurora: The Golden Arches of Postgres?