ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering
2022.11.01 技術記事 ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] by yayohei #infrastructure #sre #database #aws #aurora #mysql #proxysql #stabilization #livestreaming-infrastructure #infra-quality こんにちは、 IT 本部 IT 基盤部第一グループの山本です。 今回は ProxySQL を利用した Aurora MySQL の新規接続の遅延問題の解消方法について紹介したいと思います。 Aurora MySQL のメリット Aurora MySQL のメリットとしては本稿で詳しく語るまでもないですが、Writer の 自動 Failover、Snapshot の取得の容易さ、Storage 故障の
![ProxySQL を利用した Aurora MySQL の課題解決 [DeNA インフラ SRE] | BLOG - DeNA Engineering](https://cdn-ak-scissors.b.st-hatena.com/image/square/86065d7b8409d04e7be80a93878f716de9247a45/height=288;version=1;width=512/https%3A%2F%2Fengineering.dena.com%2Fblog%2F2022%2F11%2Finfra-proxysql%2Fcover.png)
Amazon Aurora バージョン - Amazon Aurora
Amazon Aurora MySQL 互換エディション 使用に関する情報については、「Amazon Aurora MySQL の操作」を参照してください。利用可能なバージョンの詳細なリストについては、「Amazon Aurora MySQL のデータベースエンジンの更新」を参照してください。 Amazon Aurora PostgreSQL 互換エディション 使用に関する情報については、「Amazon Aurora PostgreSQL の操作」を参照してください。利用可能なバージョンの詳細なリストについては、「Amazon Aurora PostgreSQL の更新」を参照してください。 コミュニティデータベースと Aurora 間でのバージョン番号の違い Amazon Aurora の各バージョンは、MySQL または PostgreSQL の特定のコミュニティデータベースバージョン
MySQL公式のDockerリポジトリがcontainer-registry.oracle.comに引っ越していた
この記事は MySQLのカレンダー | Advent Calendar 2023 の10日目の記事です。昨日は meijik さんの 最新のSQL標準(SQL:2023)とFirebird/MySQL/PostgreSQL | キムラデービーブログ でした。 TL;DRdockerhub のMySQLイメージはもうメンテナンスしていないっぽい ややこしいのだけれど、 docker pull mysql で取得するのは「Docker社がビルドしたMySQLイメージ」で、 docker pull mysql/mysql-server で取得するのが「Oracle社がビルドしたMySQLイメージ」だった引っ越したのは後者のみMySQL Server Community Edition - Repository Detail 5.7は5.7.16と5.7.33だけ、8.0は8.0.22とそれ以降し
MySQL 8.1登場！！Innovation ReleaseとLTSについて
MySQLの最新バージョンである「8.1」が発表されたので超久しぶりに筆を取った。しばらく筆を取らなかった理由は個人的なものなのだが、このブログはごく個人的な活動であるので諸々の事情はご容赦頂きたい。 さて、MySQL 8.0の次のバージョン番号は何になるかという憶測は色々あったと思うのだが、8.1というものに落ち着いた結果になった。（9.0にしてしまうと、2桁目の番号が意味をなさなくなってしまうからね！！ちなみに次のバージョンは8.2、8.3・・・という具合に続く予定だ。）8.1という番号はバグデータベース上で既にチラチラと出ていたので、公式な発表よりも前に気づいていた人も多かったのではないだろうか。本稿では、バージョン8.1の概要と、8.1リリースと同時に発表されたInnovation ReleaseおよびLTS（Long Time Support）について解説しようと思う。 Inno
Aurora MySQL でレコードが存在するのに SELECT すると Empty set が返ってくる事象を調査した話
こんにちは。 KINTO テクノロジーズの DBRE チーム所属のp2skです。 DBRE（Database Reliability Engineering）チームでは、横断組織としてデータベースに関する課題解決や、組織のアジリティとガバナンスのバランスを取るためのプラットフォーム開発などを行なっております。DBRE は比較的新しい概念で、DBRE という組織がある会社も少なく、あったとしても取り組んでいる内容や考え方が異なるような、発展途上の非常に面白い領域です。 弊社における DBRE の取り組み例としては、あわっち（@_awache）による DBRE ガードレール構想の実現に向けた取り組みについてというテックブログや、今年の AWS Summit の登壇内容を是非ご覧ください。 今回の記事は、データベースに関する課題解決の事例として「Aurora MySQL でレコードが存在するのに
MySQL :: MySQL 8.0 リファレンスマニュアル :: 4.5.8 mysqlslap — ロードエミュレーションクライアント
mysqlslap は MySQL サーバーのクライアント負荷をエミュレートし、各段階のタイミングをレポートする診断プログラムです。 複数のクライアントがサーバーにアクセスしているかのように作動します。 mysqlslap は次のように起動します。 shell> mysqlslap [options] --create または --query などのオプションを使用すると、SQL ステートメントを含む文字列やステートメントを含むファイルを指定できます。 ファイルを指定した場合、デフォルトでは各行に 1 つのステートメントを含んでいなければなりません。 (つまり、暗黙的なステートメント区切り文字は改行文字です。) 異なる区切り文字を指定するには、--delimiter オプションを使用します。これにより、複数行にわたるステートメントを指定したり、1 行に複数のステートメントを配置したりできま
pt-online-schema-changeと5.6 InnoDBのオンラインALTER TABLE使い分け
この記事は MySQL Casual Advent Calendar 2015 の9日目です。 MySQL 5.6から InnoDBのオンラインDDL が導入されて久しいですが、一方で pt-online-schema-change (以下pt-osc）もまだまだ元気です。MySQL 5.5とそれより前ではpt-osc一択になりますが、MySQL 5.6とそれ以上の場合はInnoDBさんに任せるかpt-oscを使うかを選択することができます。 MySQL 5.6でもpt-osc一択にしても構わないといえば構わないんですが、いくつかのケースではInnoDBさんに任せた方が速くなったり安定したりするので、そのあたり解説していきます。 TL;DR ウチの使い分け。 原則 pt-osc スレーブの台数が多すぎない かつ データ容量が馬鹿でかくてストレージ食いつぶしそう または INSERT大杉で2
pt-online-schema-changeの導入時に検討したこと、およびRailsアプリとの併用について - freee Developers Hub
おはこんばんちは、Database Reliability Engineer (DBRE) の橋本です。今回は、pt-online-schema-changeというデータベースのスキーマ変更ツールを社内の運用に持っていくための過程や、freeeにおける運用上の工夫を紹介します。pt-online-schema-changeはある程度枯れた技術なので、いくつか事例が紹介されており、すでに運用に乗せている組織もあるかと思われますが、これから新規に導入する方などの参考になると幸いです。 背景 freeeではほぼ毎月ペースで深夜に定期メンテナンスを行なっており、おもにインフラの更新作業やアプリケーションの機能追加に伴うデータベースのスキーマ変更が行なわれます。 ここで少し寄り道をして、スキーマ変更を行なうためのMySQL（ストレージエンジンにInnoDBを使っている前提で進めます）のDDLのパター
Percona Toolkit Documentation
Percona Toolkit Documentation¶ Percona Toolkit is a collection of advanced command-line tools used by Percona support staff to perform a variety of MySQL, MongoDB, and system tasks that are too difficult or complex to perform manually. These tools are ideal alternatives to private or “one-off” scripts, because they are professionally developed, formally tested, and fully documented. They are also
MySQL :: MySQL Shell 8.0 :: 11.5 Instance Dump Utility, Schema Dump Utility, and Table Dump Utility
MySQL Shell 8.0 / MySQL Shell Utilities / Instance Dump Utility, Schema Dump Utility, and Table Dump Utility 11.5 Instance Dump Utility, Schema Dump Utility, and Table Dump Utility MySQL Shell's instance dump utility util.dumpInstance() and schema dump utility util.dumpSchemas(), introduced in MySQL Shell 8.0.21, support the export of all schemas or a selected schema from an on-premise MySQL ins
pt-online-schema-changeとgh-ostの比較(データが損失するかもしれないAlterTable編) - kenken0807_DBメモ
こちらのエントリーは MySQL Advent Calendar 2021の14日目の記事になります。 今年はオンラインスキーママイグレーションツールのpt-online-schema-change(pt-osc)とgh-ostをよく調べていたので、その中から一つ。 mysqlコマンドではエラーになるけど、制約違反などでデータが損失する可能性のあるAlter Tableを実施するとそれぞれどうなるか比較したいと思います。 昨今ではMySQL8.0からのInstance Alter Tableが使えるのであれば、まずこれを使うでしょう。 それ以外だとOnlineDDL機能を使ってスキーマ変更するでしょうけど、これはレプリカの遅延が発生するため、pt-oscや gh-ostを使う機会はまだ多いと感じます。 各種ツールについて詳しく説明はしません。 gh-ostについてはがんばって書いた記事があ
MySQL :: MySQL 8.0 リファレンスマニュアル :: 8.2.2 サブクエリー、導出テーブル、ビュー参照および共通テーブル式の最適化
IN、= ANY または EXISTS 述語で使用されるサブクエリーの場合、オプティマイザには次の選択肢があります:
InnoDB の全文検索機能におけるキャッシュ利用について
MySQL 5.7 において InnoDB の全文検索機能が日本語に対応するようになって約 3 年が経ちました。今では InnoDB で日本語の全文検索ができることは広く知られるようになってきたのではないでしょうか。そんな中、今回は MySQL 8.0 においてもまだ修正されていない、全文検索の制限について確認していきたいと思います。 MySQL 5.7 の日本語全文検索とは まず、MySQL 5.7 において何が変わったのかについて簡単におさらいしたいと思います。 MySQL 5.6 まではデフォルトで FULLTEXT パーサーが使用されていたため、日本語のように単語の初めと終わりが明確でない言語で FULLTEXT インデックスを使用しようとした場合、単語を区切ったり N-gram で分割した状態で DB に格納するなど、使用するためには DB のデータを変形して格納する必要がありま
MySQL のインデクスが利用されないクエリ等を自動検出する ExplainPolice の運用について
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog LINE 株式会社 B2B Platform 開発担当フェローの Matsuno です。 LINE の Business Platform ではメインのデータベースとして MySQL を利用しています。MySQL は非常に高速に動く OSS の RDBMS なので、とても便利に利用させていただいております。 MySQL はとても高速なのですが、うっかり index を使わないクエリを発行した場合に実行がとても遅くなってしまうことがあります。LINE の Business Platform はとても多くのお客様が利用されるので、B2B としては異例なほどトラフィックが多く、少し遅いクエリが発生した結果としてサイト全体がダウンして
wikipediaの本文記事をMySQLにいれる(2022.04) - Qiita
記事の内容 wikipediaの本文記事をローカル環境にインストールします。 久しぶりにwikipediaのdumpを触っていたら、数年前とはちょっとずつやり方が変わってきていたので防備録的にメモします。 環境 ubuntu 20.04 mysql 8.0.28 xmlファイルをSQLファイルにする xml2sqlのインストール $ cd ~/ $ git clone https://github.com/Tietew/mediawiki-xml2sql.git $ cd mediawiki-xml2sql $ ./configure $ make $ sudo make install $ cd ~/ $ mkdir wikipedia $ cd wikipedia $ wget https://dumps.wikimedia.org/jawiki/latest/jawiki-lates
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://blogs.oracle.com/mysql/post/introducing-mysql-innovation-and-longterm-support-lts-versions?s=09
https://raw.githubusercontent.com/percona/percona-toolkit/3.x/bin/pt-online-schema-change
https://blogs.oracle.com/mysql/post/mysql-shell-dump-load-and-compression
GitHub - mydumper/mydumper: Official MyDumper Project
MySQL :: MySQL 8.4 Reference Manual :: 15.1.15 CREATE INDEX Statement