シンプルフォーム株式会社でインフラエンジニアをしている守屋です。 本記事では Aurora MySQL の OOM(メモリ不足)エラーについて、原因となるクエリを特定するために役立つ Tips を弊社での実例を交えてご紹介します。 発端 突如 Slack に鳴り響く不吉な通知。 「パターン青！障害です！！」 どうやら本番環境の Aurora クラスターがフェイルオーバーしてアプリケーションが DB コネクションエラーを引き起こした模様です。幸いインスタンスは冗長化していて Aurora のフェイルオーバーは高速であるため、ユーザー目線では瞬断が発生した程度の比較的影響が小さめな障害に留まりました。しかしインフラエンジニアとしては捨ておけない状況です！早速原因の調査を始めました。 フェイルオーバーの原因 結論から言うとメモリ使用量がスパイクして OOM エラーが発生したことが原因でした。根拠
Amazon RDS ブルー/グリーンデプロイを利用してMySQLのアップグレードをした話 - Pepabo Tech Portal
こんにちは。技術部プラットフォームグループのharukinです。 この記事では、私たちが提供するネットショップ作成・運用のためのECプラットフォーム「カラーミーショップ」のデータベースを、Amazon RDSのブルー/グリーンデプロイを利用し、MySQLのバージョン5.7.38から8.0.35へアップグレードした経験についてご紹介します。カラーミーショップにおいてはこれが初の試みでした。Amazon RDS固有のファーストタッチレイテンシーの解除方法や、ダウンタイム時間の計測についてもお伝えします。 Amazon RDSのブルー/グリーンデプロイを活用するメリットは、本番環境に準ずるステージング環境を構築し事前検証が可能であることです。ステージング環境は約1分で本番環境に昇格させることができ、昇格時に許容ダウンタイムを超えたり、レプリケーションやインスタンスの問題が生じた場合は、自動的にプ
MySQL 8.4 LTS登場！！
記事を書くのが遅くなってしまったが、先日MySQL 8.4シリーズが登場したので紹介をしておこうと思う。新機能の解説については機会を改めて書くとして、今回は主にアップグレードにまつわる重要なポイントを書き記しておく。 LTS = Long Term Support 以前の記事でも紹介した通り、MySQL 8.4はLTS = Long Term Supportのバージョンとなっている。長期間サポートするために互換性を最大限保証するバージョンである。前のメジャーバージョンであるMySQL 8.0シリーズのように、シリーズの途中で互換性が破壊されるような変更が入ることは基本的に無い。「バグ修正のためにどうしても仕様を変えなければならない」というような事態が生じる可能性はゼロではない。なので絶対に互換性が保たれるとは言い切れないところであるが、基本的には仕様変更はない方向で今後リリースされていくこ
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート 1 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 1 を翻訳したものです。 Amazon Aurora MySQL 互換エディション バージョン 2 (MySQL 5.7 互換)は 2024 年 10 月 31 日に標準サポートの終了が予定されています。Amazon Aurora MySQL バージョン 2 の標準サポートの終了タイムラインについて
Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 | Amazon Web Services
Amazon Web Services ブログ Amazon Aurora MySQL バージョン 2 (MySQL 5.7 互換) からバージョン 3 (MySQL 8.0 互換) へのアップグレードのチェックリスト、パート2 本記事は、Amazon Aurora MySQL version 2 (with MySQL 5.7 compatibility) to version 3 (with MySQL 8.0 compatibility) upgrade checklist, Part 2 を翻訳したものです。 最初のパートでは、 Amazon Aurora MySQL互換エディション v2 から v3 へのアップグレードの事前チェックが失敗する原因となる最も一般的な問題を説明しました。この投稿ではアップグレードが長引いて失敗する最も一般的な原因について説明します。 クラスターにプリ
CDK の中で DB を初期化する点についても後ほど触れます。 S3 にサンプルデータをアップロードする 続いて、以下のコマンドで S3 にサンプルのデータを入れます。 bucket_name=$(aws cloudformation describe-stacks --stack-name BlogAthenaJoinS3AndMysqlStack --output text --query 'Stacks[0].Outputs[?OutputKey==`BucketName`].OutputValue') aws s3 cp ./s3_test_data/data "s3://${bucket_name}/data" --recursive これで CloudFormation で作成した S3 バケット名を取得し、そのバケットに以下の CSV ファイルをアップロードしました。 ※4都
MySQLで処理するGIS ～地球が丸いことを覚えたMySQL～ / MySQL GIS FOSS4G TOKAI 2023
2023年8月26日(土)に開催されたFOSS4G TOKAI 2023での発表資料です。 法務省登記所備付地図データをMySQLに取り込んでから検索し、空間インデックスにより検索処理を高速化した結果も紹介しています。
ローカル環境を汚さずにMySQLの動作検証をサクッとしたかったので、Dockerを使うことにしました。 やりたい検証は単純なものだったので「わざわざDockerfileを準備しなくても、ベースイメージから直接コンテナを起動すればいいか」と思い、以下のコマンドを実行しコンテナを起動→MySQLに接続しました。 $ docker run --name mysql_container -e MYSQL_ALLOW_EMPTY_PASSWORD=true -d mysql:8.0.36 $ docker exec -it mysql_container bash bash-4.4# mysql mysql> ここまでは、何の問題もありませんでしたが、日本語を含んだSELECT文を実行する際に、問題が発生しました。 以下のように「あ」を入力中、確定するためにEnterを押すと「あ」が消えてしまうので
Binary logging optimizations in Amazon Aurora MySQL version 3 | Amazon Web Services
AWS Database Blog Binary logging optimizations in Amazon Aurora MySQL version 3 The binary log (binlog) in MySQL is used to capture database modifications on a MySQL server in a logical format known as “events”. These database modifications can include DCL statements (such as CREATE USER or GRANT), DDL statements (CREATE TABLE, ALTER TABLE) and DML statements (INSERT, UPDATE, DELETE). When such a
Amazon Web Services ブログ Amazon Aurora MySQL3におけるバイナリログの最適化 本記事は、2024年5月17日に公開された Binary logging optimizations in Amazon Aurora MySQL version 3 を翻訳したものです。 MySQLのバイナリログ(binlog)は、MySQLサーバ上のデータベースの変更を”イベント”と呼ばれる論理フォーマットでキャプチャするために使用されます。これらのデータベース変更には、DCL(CREATE USERやGRANTなど)、DDL(CREATE TABLE、ALTER TABLEなど)、DML(INSERT、UPDATE、DELETEなど)が含まれます。そのような変更がMySQLでコミットされると、サーバは 2-phase commit(2PC)を用いてトランザクションのバ
MySQL 8.4 First Peek
MySQL 8.4 has now been officially released, and this is a quick review of what is in the release notes. This is momentous as it is designated a Long-Term Support (LTS) release. Various 8.0 releases introduced material changes that impacted speed and stability, causing hair-pulling and swearing among those affected. Please note this is a first peek at the release notes, and comments in italics are
Integrate Amazon Aurora MySQL and Amazon Bedrock using SQL | Amazon Web Services
Amazon Web Services ブログ Integrate Amazon Aurora MySQL and Amazon Bedrock using SQL 本記事は、Integrate Amazon Aurora MySQL and Amazon Bedrock using SQLを翻訳したものです。翻訳はSr. Database Solutions Architectの杉山が担当しました。 組織は大量のデータをリレーショナルデータベースに保存しているため、エンドユーザーエクスペリエンスを向上させるために生成AIの基盤モデルを使ってこれらのデータセットを補強する明確な動機があります。この記事では、Amazon Aurora Machine Learningを使用して、Amazon Aurora MySQL互換エディションを生成AIモデルと統合する方法を探ります。Amazon Be
2024年5月22日紙版発売 2024年5月22日電子版発売 yoku0825，北川健太郎，tom__bo，坂井恵 著 B5変形判／232ページ 定価3,080円（本体2,800円＋税10%） ISBN 978-4-297-14184-4 Gihyo Direct Amazon 楽天ブックス ヨドバシ.com 電子版 Gihyo Digital Publishing Amazon Kindle honto この本の概要 「サーバー故障やヒューマンエラーに備えるには？」 「アクセス数の増加時にパフォーマンスを保つには？」 「異常検知をして復旧するには？」 運用・管理における長く役立つ視点を，実践経験豊富なエンジニアがどのように動いているのかをふまえて解説。 本書では，MySQLサーバーの稼働状況の確認方法といった基礎知識を始め，アカウントの権限の評価順序や認証プラグインなど，運用管理者として
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Aurora MySQLのメモリ不足の原因を特定する
Athena で S3 と MySQL を JOIN する | DevelopersIO
DockerのMySQLで日本語入力ができなかった話 - Qiita
Amazon Aurora MySQL3におけるバイナリログの最適化 | Amazon Web Services
MySQL運用・管理［実践］入門 〜安全かつ高速にデータを扱う内部構造・動作原理を学ぶ