リクルートが『スタディサプリ』で Amazon Aurora Serverless v2 を採用。コストを最適化しつつ Aurora の管理工数を大幅削減 | Amazon Web Services
Amazon Web Services ブログ リクルートが『スタディサプリ』で Amazon Aurora Serverless v2 を採用。コストを最適化しつつ Aurora の管理工数を大幅削減 株式会社リクルートは、日本国内のHR・販促事業及びグローバル斡旋・販促事業をおこなう事業会社です。リクルートでは、『スタディサプリ』というスマートフォンアプリ、パソコンで利用可能なオンライン学習サービスのデータベースとして Amazon Aurora PostgreSQL を採用しています。 2023 年 5 月にこの Aurora PostgreSQL を Aurora Serverless v2 に変更しました。採用検討から 1.5 ヶ月と短期間で導入を決定しましたが、入念な検証の結果 Aurora の運用負荷を大幅に削減し、サービスの安定運用も実現しています。本ブログは、『スタディサ
note ではメインデータベースとして Aurora MySQL を採用し、日々発生する膨大なトラフィックを処理しています。Aurora MySQL v2 (MySQL 5.7 互換) の標準サポートは2024/10/31 に終了するため、これを機に v3 (MySQL 8.0 互換) へのアップグレードを行いました。 アップグレードは無事に完了しましたが、いくつかの問題にも直面しました。これらを共有することで、これからアップグレードを検討している方へ参考になればと思います。 事前に検討した課題アップグレード後に致命的な問題が起きたらどうするかv3 へのアップグレード後に v2 へ切り戻すことは容易ではなく、スナップショットなどからの復元が必要になります。データをロールバックすることになるため、ユーザ影響が極めて大きく避けたい事態です。 そのため、基本的に切り戻しはできないという前提でアッ
分析基盤へのデータ連携処理をEmbulkからAmazon Aurora S3 Export機能に切り替えた話 - BASEプロダクトチームブログ
はじめに こんにちは！Data Platformチームでデータエンジニアとして働いている @shota.imazeki です。 分析基盤の構築・運用などの側面から社内のデータ活用の促進を行っています。 BASEではAurora MySQLにあるデータをEmbulkを用いてBigQueryに連携しています。BigQueryへ連携されたデータは分析基盤としてLookerなどを通して社内利用されています。 このデータ連携処理にはいくつかの課題があり、それを解決するためにEmbulkからAurora S3 Export機能を用いた連携処理に切り替えることにしましたので、それについて紹介していきたいと思います。 ※この切り替えについては現状、試験的に一部のDBのみの切り替えとなっていますが、運用上の大きな課題が出てこなければ徐々に切り替えていく予定です。 切替前のデータ連携処理 先述した通り、BAS
Aurora MySQL におけるロック競合（ブロッキング）の原因を事後調査できる仕組みを作った話
こんにちは。 DBRE チーム所属の @p2sk です。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE チーム発足の背景やチームの役割については「KTC における DBRE の必要性」というテックブログをご覧ください。 本記事では、Aurora MySQL でロック競合（ブロッキング）起因のタイムアウトエラーが発生した際に根本原因を特定することができなかったので、原因を後追いするために必要な情報を定期的に収集する仕組みを構築した
Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL 3 の MySQL 8.0 互換版が一般提供 Amazon Aurora は、クラウド向けに構築された MySQL および PostgreSQL 互換のリレーショナルデータベースです。Aurora は、従来のエンタープライズデータベースのパフォーマンスと可用性と、オープンソースのデータベースのシンプルさとコスト効率を持ち合わせています。Amazon Aurora MySQL は MySQL 5.7 と互換性に加え、 MySQL 8.0 とも互換性があります。MySQL 8.0 互換の Aurora MySQL 3 が一般提供されています。 Aurora MySQL 3 は、共通テーブル式 (CTE) のサポート、ロールベースの認証、レプリケーションの強化、ウィンドウ関数、インスタント DDL など、いく
Amazon Aurora PostgreSQLを16.1へアップグレードしたらANALYZEを忘れてCPUが高騰しました - Oisix ra daichi Creator's Blog（オイシックス・ラ・大地クリエイターズブログ）
SREの林 aka もりはやです。 タイトルの通りですし、PostgreSQL界隈の皆さんには当たり前のことですが”失敗事例の共有はいくらあってもいいはず”の気持ちで本記事を書いています。*1 TL;DR 詳細 最新バージョンでアプリを移行した矢先にAurora PostgreSQLのv16.1対応が発表 これを受けて、意気揚々とAurora PostgreSQLのバージョンアップを実施 またしてもCPU高騰、そして504多発 調査開始 ZabbixにはSlow queryを出力する機能がデフォルトである クエリチューニングするならEXPLAINを使う ANALYZEを実行することで解決 仕上げのDB全体へのANALYZE まとめ TL;DR 何よりもまず、アップグレードガイドを読みましょう！！！！！！ AWS公式ドキュメント _ Amazon Aurora PostgreSQL DB ク
非 Aurora な RDS から Aurora へ移行する時に考えること全部盛り - ゆるっと Tech Blog
Japan AWS Jr. Champions Advent Calendar 23日目の投稿です！クリスマスイブイブですね。 今回は、Aurora でない RDS で稼働している DB を Aurora へ移行することを検討してみます。 現在の データベース 具体的な例があった方が分かりやすいので、移行対象の DB の情報を仮定しておきます。 データベースの情報 利用サービス：RDS (非Aurora) インスタンスタイプ：db.t3.medium (2vCPU/4GiB) ディスク容量：50GiB DBエンジン：MySQL 8.0系 MultiAZ構成 (Active-Standby) リードレプリカなし オンデマンドインスタンス 利用状況 CPU利用量：余裕あり ディスク利用量：余裕あり メモリ利用量：2GiB弱程度で安定推移 システム稼働：時間帯や日による変化はなく、一定した稼働
コスト削減成功！Amazon Auroraの監査ログをS3に保存する仕組みを構築した話 - Classi開発者ブログ
こんにちは。プロダクト本部Growth部でエンジニアをしている id:ruru8net です。 前回はこちらの記事を書かせていただきました。 tech.classi.jp 今日は前述したSRE留学中にやったことの中の「Amazon Auroraの監査ログをCloudWatch Logsを経由せずS3に保存する」を紹介したいと思います。 前提 前掲の記事にもある通り、弊社のAWSにかかっているコストを調査したところCloudWatch Logsの特にAmazon RDSの監査ログの保存にコストがかかっていることがわかりました。今回は弊社で最も使用しているAmazon AuroraのMySQLのみを対象として、監査ログをCloudWatch Logsを経由せずS3に保存する仕組みを作成しました。 作成した仕組み こちらのオープンソースの仕組みを参考に構築、またLambdaのソースを使いました。
2024年3月から始まるサポート期間が伸びるけれども費用もかかるAmazon RDS延長サポートとの付き合い方~MySQL 5.7/PostgreSQL 11を例に~ | DevelopersIO
メジャーアップグレードを先延ばしした場合のTCOと移行コストを比較しましょう。 延長サポート移行時のマイナーバージョンアップグレード方法 延長サポートは、特定のマイナーバージョンでのみサポートされています。 RDSを例に取ると、MySQLは5.7.44、PostgreSQLは11.22です。 マイナーバージョンの自動アップグレードを有効にしている場合、すでにこの最新マイナーバージョンにアップグレードされているはずです。 無効にしている場合、標準サポートの終了に伴い、延長サポート対象バージョンへ自動アップグレードされます。 ただし、自動アップグレードの実施タイミングは言及されておらず、メンテナンスウィンドウ中に実施される保証はありません(2024/01/10確認)。 アップグレードのタイミングをコントロールしたい場合、標準サポートが終了する前に、以下のどちらかを実施してください。 手動で実行
【追記有り】Amazon Aurora MySQL Version3でのOnline DDLの落とし穴とその回避方法 - CyberAgent SRG #ca_srg
メディア統括本部 サービスリライアビリティグループ（SRG）の鬼海 雄太（@fat47）です。 #SRG（Service Reliability Group）は、主に弊社メディアサービスのインフラ周りを横断的にサポートしており、既存サービスの改善や新規立ち上げ、OSS貢献などを行っているグループです。 本記事は、Ama
Your MySQL 5.7 and PostgreSQL 11 databases will be automatically enrolled into Amazon RDS Extended Support | Amazon Web Services
AWS News Blog Your MySQL 5.7 and PostgreSQL 11 databases will be automatically enrolled into Amazon RDS Extended Support Today, we are announcing that your MySQL 5.7 and PostgreSQL 11 database instances running on Amazon Aurora and Amazon Relational Database Service (Amazon RDS) will be automatically enrolled into Amazon RDS Extended Support starting on February 29, 2024. This will help avoid unpl
目次[非表示] 1.はじめに 2.まず、データーベースの「負荷分散」って何でしょうか？ 3.RDSとリードレプリカとは 4.ここからは実際にテストしてみました 4.1.RDSでデーターベースを作成 4.2.テストデータを作成 4.2.1.railsアプリケーションの設定 4.3.データーベースにテストデータを追加する 4.3.1.テストデータをコマンドで追加 4.3.2.テストデータがRDS(MySQL)に入っているか確認する 4.4.RDSからリードレプリカを作成 4.5.テストツール（JMeter）のセットアップ 4.5.1.JMeterのインストール 4.5.2.JMeterテストプランの設定 4.5.2.1.スレッドグループを作成 4.5.3.JDBC接続設定追加の設定 4.5.4.JDBCリクエストの設定 4.5.5.リスナーの指定 4.6.テスト結果の比較 5.終わりに はじめ
北海道でオーロラ観測 夜空を赤く染める
北海道各地で１日夜、オーロラが観測された。地元の天文台が撮影に成功したほか、交流サイト（ＳＮＳ）に愛好家らが次々と写真を投稿した。 東京都在住の星空写真家ＫＡＧＡＹＡ＝本名・加賀谷穣＝さん（５５）は、天気と磁気嵐の予報から、観測できる可能性が高いとみて１日に北海道入り。オホーツク海側の美幌峠で午後８時半ごろ、空が赤く染まる様子を撮影した。その後も午後１０時半ごろまで断続的に観測できたという。 北海道名寄市で観測されたオーロラ＝１日夜（なよろ市立天文台提供）加賀谷さんは米アラスカなど海外では何度も見たことがあったが日本では初めてだったといい「ぜひ日本のオーロラも見てみたいと狙っていた。夢中でシャッターを切りました」と感激した様子だった。
米Amazon Web Services（アマゾン・ウェブ・サービス、AWS）は2023年11月27日（米国時間）、年次イベント「AWS re:Invent 2023」の初日の基調講演で、サーバーレスのデータベース（DB）に関する新機能を3種類発表した。独自開発の新しいハイパーバイザー「Caspian」が使われている。 27日に講演したのは、AWSのPeter DeSantis（ピーター・ディサンティス）シニア・バイス・プレジデント（SVP）だ。ディサンティスSVPは例年、独自ハードウエアについて講演しているが、今年はサーバーレスのDBに関連する新機能と、それを実現するためにAWSが独自に開発した新技術について多くの時間を割いて解説した。
Today, AWS announces Amazon Aurora Limitless Database, which enables you to scale your Amazon Aurora clusters to millions of write transactions per second and manage petabytes of data. With this new capability, you can scale your relational database workloads on Aurora beyond the limits of a single Aurora writer instance without needing to create custom application logic or manage multiple databas
Join the preview of Amazon Aurora Limitless Database | Amazon Web Services
AWS News Blog Join the preview of Amazon Aurora Limitless Database Today, we are announcing the preview of Amazon Aurora Limitless Database, a new capability supporting automated horizontal scaling to process millions of write transactions per second and manage petabytes of data in a single Aurora database. Amazon Aurora read replicas allow you to increase the read capacity of your Aurora cluster
Amazon Aurora の KMS キーをシュッと差し替える - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL を使っています（以下 Aurora と略します）。また、データ保護の追加レイヤーとして KMS を使って DB クラスターを暗号化しています。 docs.aws.amazon.com ここまでは良いのですが、KMS キーに AWS マネージドキーが設定されていました。普段から AWS を使っている方であれば「あちゃ〜」と思われるでしょう。 なぜ Aurora の KMS キーに AWS マネージドキーを使うのが「あちゃ〜」なのか KMS キーには、AWS マネージドキーとカスタマーマネージドキーの 2 種類があります。 AWS マネージドキーはユーザーに代わって作成されるキーで、RDS の場合は aws/rds というエイリアス名が付いています。
先週の続きで今週もRISC-Vの話をするつもりだったのだが、SC23がコロラド州デンバーで開催され、これにあわせてTOP500のリストも更新された。ということで長らく懸案になっていたAuroraがついにランクインしたため、急遽予定を変更してこちらを解説する。 AuroraはTop500のランキング2位 トップを維持したFrontierの半分の性能 Auroraは今年5月に行なわれたISC 23のタイミングでは、スパコン性能ランキングとなるTOP500にまだエントリーしなかったという話は連載723回で説明したとおりである。今回はきちんとエントリーされたので、分析の前にまずは結果から伝えよう。 そのAuroraであるが、ランキング2位である。下の画像はTop 4までの抜粋であるが、ラフに言ってトップを維持したFrontierの半分の性能しかない。それでもやはり今回新規にランクインしたマイクロソ
Amazon Aurora のインフラコストを55％削減しました。 - Stanby Tech Blog
はじめに こんにちは。スタンバイで求人データ管理に関するバックエンドエンジニアをしている池田です。 スタンバイはWEB上に存在する大量の求人を一括検索できるサービスを提供しており、その求人票のマスタのデータは Amazon Aurora を使って運用しております。 以下の記事で説明をしておりますが、2021年に求人取込直後の求人情報を構造化データとして保存するために Amazon Aurora を採用しました。 スタンバイの求人情報取込の仕組みを作り直した話 〜序章〜 DBエンジンとして Aurora ( MySQL 5.7 ) を利用しております。 ストレージエンジンとしてInnoDBを利用しております。 しかし作り直しから時が経ち、求人票の増加や各種機能の追加等によって Aurora のデータ量は想定上の速さで増加していき、それに比例する形でインフラコストも増加し続けていました。 今回
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available | Amazon Web Services
AWS News Blog Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now generally available “Data is at the center of every application, process, and business decision,” wrote Swami Sivasubramanian, VP of Database, Analytics, and Machine Learning at AWS, and I couldn’t agree more. A common pattern customers use today is to build data pipelines to move data from Amazon Aurora to Amazon R
Railsで秒間1000コミットを捌くにはどうすればいいのか (Kaigi on Railsのフリースペースより) - joker1007’s diary
先日のKaigi on Rails中の雑談として @ima1zumi さんから、RDBに対して秒間1000コミットぐらいで処理が詰まってる場合ってどうするのが良いのか、という質問を受けまして、雑談の中で色々答えてたんですが、せっかくだから記事にまとめておこうと思います。 ちょっとしたKaigi Effectって感じですね。 今回のKaigi on Railsのトークの中では、 数十億のレコードを持つ5年目サービスの設計と障害解決 by KNR - Kaigi on Rails 2023 の話なんかは割と関連がありますね。ユーザーの行動履歴というのは、ユーザー数 * N * タイムスパンで増えていくレコードなので、書き込みとデータ量が爆発しがちです。トランザクションで堅牢に処理しなければいけないケースもそこまで多くないので、RDBだと書き込みに対する処理が過剰なケースが多い。実際のところこの
9/11に開催された、【Chatwork × みてね勉強会】EKS＆Aurora最新ノウハウでお話させていただいた、みてねSREの伊東の登壇資料です。
日本時間 2023/9/1(金)の深夜、AWSより以下のアップデートが発表されました！ 土曜の朝からXで早速話題になっています。 ニュースリリース ブログ ※全体的にまだ日本語ドキュメントに反映されていない情報が多いので、リンク先にRDS Extended Supportに関する言及が見られない場合は言語設定をEnglishに切り替えて再確認することをお勧めします。 3行でまとめると？ AWSはAuroraおよびRDSのDBエンジンの所定サポート終了後、最大3年の延長サポートを有償提供する 対象のDBエンジンはMySQL 5.7 & PostgreSQL 11および、それ以降の主要バージョン 2023年12月から延長サポートへのオプトインが可能。実際の課金開始はバージョン依存。最速でも2024年3月1日以降となる クラウドにおける「DBバージョンアップ」の扱い AWSクラウドが提供するマネ
Introducing Amazon RDS Extended Support for MySQL databases on Amazon Aurora and Amazon RDS | Amazon Web Services
AWS Database Blog Introducing Amazon RDS Extended Support for MySQL databases on Amazon Aurora and Amazon RDS With the upcoming end-of-life of MySQL Community Version v5.7 in October 2023 (Page 24), Amazon Web Services (AWS) is actively preparing for this important transition. When MySQL 5.7 reaches community end of life, no further updates, bug fixes, or security patches will be released by the c
Amazon Aurora and Amazon RDS announces Extended Support for MySQL and PostgreSQL databases
Amazon Relational Database Service (RDS) announces Amazon RDS Extended Support for Amazon Aurora and Amazon RDS database instances running MySQL 5.7, PostgreSQL 11, and higher major versions beyond the community end of life. Amazon RDS Extended Support provides you more time, up to three years, to upgrade to a new major version to help you meet your business requirements. Extended Support is avail
こんやっぴー👾 カバー株式会社 技術開発本部のSです。カバー株式会社では組織横断的にSRE(Site Reliability Engineering)やサーバーサイドのエンジニアをしています。 2023年5月に入社し3ヶ月ほどホロプラスのパフォーマンスチューニングや開発環境の整備をしてきましたので、今回はそちらについてご説明します。 ホロプラスとは？ホロプラスは「推しをもっと好きになる！」がコンセプトの、ホロライブプロダクション公式アプリです。先日8月29日に正式リリースされました。主に、以下の二つの体験を提供します。 ホロライブプロダクションの最新情報が公式アプリならではの機能で手軽に逃さずチェックできる 共感でつながるファンコミュニティで投稿やいいねを通じたコミュニケーションが楽しめる ※画面は開発中のイメージですホロプラスのシステム構成ホロプラスは図のようなシンプルな構成でGo言語
2023年版-RDS と AuroraのSSL/TLS 証明書のメンテナンスアナウンスについて - サーバーワークスエンジニアブログ
こんにちは。AWS CLI が好きなテクニカルサポート課の市野です。 世間では FIBA バスケットボール・ワールドカップで 17 年ぶりの勝利！ということで盛り上がっていますが、なぜ 17 ？なぜ素数？と思って調べてみたら、4年ごとに開催されることになっているものの 2014 年の次が、1年遅らせた 2019 年開催だったためのようですね。 今回は、こんな感じで IT の世界にも定期的に訪れる作業のうち、RDS および Aurora の SSL/TLS 証明書の期限到来のお知らせについてのご案内と FAQ 記事のご紹介となります。 よくあるご質問 Amazon RDS や Amazon Aurora での SSL/TLS 証明書の更新について、いただくことの多いご質問については、過去に弊社の水本がまとめている以下のエントリに記載があります。 合わせてご確認いただけますと幸いです。 blo
住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 | IT Leaders
IT Leaders トップ ＞ 経営課題一覧 ＞ 事業継続 ＞ 事例ニュース ＞ 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 事業継続 事業継続記事一覧へ [事例ニュース] 住信SBIネット銀行、ネットバンキング基盤をAWS東京/大阪リージョンで冗長構成、障害検知から5分以内に復旧 2023年8月29日(火)日川 佳三（IT Leaders編集部） リスト 住信SBIネット銀行（本社：東京都港区）は2023年8月29日、インターネットバンキングシステムの可用性を高めるため、システム基盤のAmazon Web Services（AWS）をマルチリージョンで構成したと発表した。AWSの東京リージョンに障害が発生した際に、大阪リージョンに切り替えて業務を継続する仕組みで、障害検知から5分以内にサービスを復旧できるようになった。2
大規模サービスのデータベースエンジンを MySQLからAurora MySQLへの移行 〜リードレプリカ, DNSを利用した最小ダウンタイム移行方法〜 - メドピア開発者ブログ
バックエンドエンジニアの徳富(@yannKazu1)です。先日、メドピアのメインサービスであるmedpeer.jpで使われているデータベースエンジンを、MySQLからAurora MySQLへと移行しました。今回はその移行のプロセスについて詳しくお話しします。 移行したデータベースの簡単なインフラ構成 移行方針 今回移行するデータベースは複数のアプリケーションから参照されており、ダウンタイムによるユーザー影響が大きいため、移行方針の検討の段階で重視したのは、ダウンタイムの最小化でした。これを達成するために、DNSのCNAMEレコードと、Auroraのリードレプリカを活用し、移行させることにしました。 DNSのCNAMEレコードの使用 データベースエンドポイントをアプリケーションに直接記述する代わりに、DNSのCNAMEレコードを利用して間接的に参照するようにしました。これにより、データベー
RDS Proxyを用いたオンラインスイッチオーバーによるMySQLのアップグレードについて - freee Developers Hub
おはこんばんちは、DBREの橋本です。 今回は、Amazon RDS Proxy（以降RDS Proxyとよぶ）を用いたRDS for MySQLインスタンスおよびAurora MySQLクラスタのオンラインスイッチオーバーの手法について、ある程度社内での運用が確立してきましたので解説いたします。 従来のアップデート手法 AWS上でRDS for MySQLインスタンスやAurora MySQLクラスタ（以降これらをデータベースとしてまとめてよぶ）を運用している場合、それらのエンジンバージョンの更新を行ったり、OSバージョンの更新に伴う再起動を実施する必要があります。これらの更新を行う場合、以下のような方法が考えられます。 対象のデータベースに直接更新を適用する スナップショットを作成し、更新済みのデータベースとして復元する 更新済みの空のデータベースを新規作成し、そちらにデータを移行し、
Local write forwarding with Amazon Aurora | Amazon Web Services
AWS Database Blog Local write forwarding with Amazon Aurora Applications designed in the cloud need to be able to scale. For stateless resources like application servers, this is a straightforward task and can be achieved by simply adding additional compute resources behind a load balancer. For stateful resources such as databases, scaling can be more challenging. With the release of Amazon Aurora
Amazon Aurora MySQL DB クラスターから Amazon S3 バケット内のテキストファイルへのデータの保存 - Amazon Aurora
Amazon Aurora MySQL DB クラスターから Amazon S3 バケット内のテキストファイルへのデータの保存 SELECT INTO OUTFILE S3 ステートメントを使用して、Amazon Aurora MySQL DB クラスターからクエリしたデータを直接 Amazon S3 バケット内のテキストファイルに保存できます。この機能を使用することで、初期にデータをクライアントに持ち込んだ後でクライアントから Amazon S3 にデータをコピーするという手順を省略できます。LOAD DATA FROM S3 ステートメントにより、このステートメントで作成されたファイルを使用してデータを Aurora DB クラスター内にロードできます。詳細については、「Amazon S3 バケットのテキストファイルから Amazon Aurora MySQL DB クラスターへのデー
Amazon RDSからAuroraへ Mackerelのデータベース移行で何が改善したか - Hatena Developer Blog
こんにちは、MackerelチームでSREをしている id:heleeen です。 2023年3月に実施したMackerelのメンテナンスでは、データベースをAmazon RDSからAmazon Auroraに移行しました。この記事ではAuroraを選択した背景や、移行で考慮したことについてお伝えします。 データベースのアップグレードを機に検討 Auroraへ移行することによるメリット パフォーマンスの改善 マイナーバージョンアップのダウンタイムが短く サイジングを適切にできリソース活用も効率的に リードレプリカの運用負荷も改善 Auroraのリードレプリカを利用した移行 RDSにAuroraのリードレプリカを作成する リードレプリカの昇格と切り替え 本番のAurora移行に向けて準備したこと 検証環境で移行して課題を確認 本番メンテナンス時のバックアッププランを用意 Mackerelのメ
Datastream for BigQuery を使って、簡単かつニアリアルタイムで AlloyDB から BigQuery にデータを同期してみた【Terraform】 - Qiita
Datastream for BigQuery を使って、簡単かつニアリアルタイムで AlloyDB から BigQuery にデータを同期してみた【Terraform】データ分析BigQueryTerraformGoogleCloudAlloyDB まえがき サンプルコードを GitHub にアップロードしています。 記事中では一部 Terraform コードを省略していますので、詳細を知りたい方はコードをご覧ください。 対象読者 Datastream for BigQuery って何？という人 Datastream を実務に導入するか悩んでいる人 Datastream を Terraform で実装したい人 Datastream for BigQuery とは DB のデータを、BigQuery にストリーミング転送するサービスです。 2023/4/4 に GA(Generally A
こんにちは！SREを担当してます上平と申します。 このエントリーではAurora MySQL5.7互換からMySQL8.0互換への移行を実施した際の流れや学びに関して紹介したいと思います！ B/43 では Aurora MySQL5.7系をサービスリリースから使っており、Aurora MySQL バージョン2のサポート終了日（2024/10/31）が近づいているのもあったので、移行することにしました。 Amazon Aurora バージョン - Amazon Aurora これからAurora MySQL8.0へ移行を検討されている方の参考になれば幸いです。 想定される読者 Aurora MySQL 5.7系を使っていて、アップグレードを検討している方 実際の Aurora MySQL 8.0 への移行手順を知りたい方 AWS インフラに興味がある方 前提 Aurora MySQL5.7互
RDS Blue/Green Deployments を使ってシュッと utf8mb4 にマイグレーションした話 - カミナシ エンジニアブログ
こんにちは。ソフトウェアエンジニアの坂井 (@manabusakai) です。 カミナシでは RDB に Amazon Aurora MySQL 2（MySQL 5.7 互換）を使っています（以下 Aurora MySQL と略します）。 ある日、社内の Slack で「𠮷」などの文字列が登録できないのではないかという話が出ました。これを聞いて「あー」と思った方も多いでしょう。 MySQL で有名な UTF-8 の 4 バイト文字問題で、歴史的な理由から MySQL 5.7 以前では utf8 の文字セットは utf8mb4 ではなく utf8mb3 を指しています。 dev.mysql.com カミナシのアプリケーションは 4 バイトの文字列が入力された場合はシステムエラーを返す実装になっていますが、エラーの内容をユーザーにわかりやすく伝えることは難しいためユーザー体験としても良くない
AWS が Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合 (パブリックプレビュー) を発表
Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合のパブリックプレビューがリリースされました。この機能により、Amazon Aurora MySQL 互換エディションに保存されているペタバイト単位のトランザクションデータに対してほぼリアルタイムの分析と機械学習 (ML) を実行できます。Aurora に書き込まれたデータが数秒以内に Amazon Redshift で利用できるようになるため、複雑なデータパイプラインを構築したり管理したりせずに、データをすばやく処理できます。Amazon Aurora MySQL と Amazon Redshift のゼロ ETL 統合は、Amazon Aurora Serverless v2 と Provisioned、Amazon Redshift Serverless と RA3 のインスタンスタイプでご
AWS announces Amazon Aurora MySQL zero-ETL integration with Amazon Redshift (Public Preview)
Amazon Aurora MySQL zero-ETL integration with Amazon Redshift is now available in public preview. This feature enables near real-time analytics and machine learning (ML) on petabytes of transactional data stored in Amazon Aurora MySQL-Compatible Edition. Data written into Aurora is available in Amazon Redshift within seconds, so you can quickly act on it without having to build and maintain comple
AWS JDBC Driver の Failover Plugin を使って3秒でAurora DB ClusterのWriterをフェイルオーバーしてみた | DevelopersIO
Amazon Auroraのフェイルオーバー時間を短くしたい こんにちは、のんピ(@non____97)です。 皆さんはAmazon Auroraのフェイルオーバー時間を短くしたいなと思ったことはありますか? 私はあります。 Auroraのフェイルオーバー時間は60秒未満と言われています。しかし、「60秒では長すぎる。せめて10秒程度でフェイルオーバーは完了させたい。」といったこともあると思います。 フェイルオーバー時間を短くする方法はクライアント側でMariaDB Connector/JやPostgreSQL JDBC Driverなどのドライバーを使用したり、RDS ProxyやProxySQLなどプロキシを挟むパターンがあります。 他にもフェイルオーバー時間を短くする方法が何かないかと探しているとAWS公式ドキュメントにフェイルオーバー時間を短くするための方法がまとまっていました。
こんにちは。 クラシル開発部、バックエンドエンジニアの松嶋です。 delyに入社してから約3年間、私はSREチームに所属していましたが、昨年10月にバックエンドに転向しました。バックエンドに転向してからは、主にクラシルアプリの公式レシピおよびCGMコンテンツの検索機能に関する開発・改善に取り組んでいます。 クラシルは、2016年2月にサービスを開始してから、管理栄養士監修の「誰でも安全に・おいしい料理を作ることができるレシピ動画」を5万件以上提供してきました。 昨年12月には、クラシルのブランドリニューアルを行い、今後はシェフや料理研究家を中心としたクリエイターとともに多様化したユーザーの食の好みや課題解決に応えられるよう、幅広い食のコンテンツを提供するプラットフォームを目指しています。 ブランドリニューアルの詳細に関しては、こちらを御覧ください。 www.kurashiru.com この
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
note の Aurora MySQL を v2 から v3 へアップグレードしました｜tic40
リードレプリカを活用してRDSの負荷分散を実際に検証してみた。
AWSがサーバーレスDBの新機能、シャーディングの自動化など実装
Announcing Amazon Aurora Limitless Database
TOP500の1位に惨敗したスパコンAuroraの真の性能 インテル CPUロードマップ (1/3)
Aurora MySQL version 3でTempTable溢れの振り返り
【塩漬けダメ絶対】AWSのAurora＆RDSがDBエンジンの延長サポートを有償提供！ - Qiita
SREがカバー株式会社に入社して3ヶ月でおこなったこと｜カバー株式会社 公式note
Aurora MySQLをMySQL8.0へ移行した話 - inSmartBank
Aurora MySQL 5.7とRailsで実現する全文検索機能 - dely Tech Blog