MySQL5.7系からMySQL8.0系にアップグレードする際の破壊的変更を回避するために
Photo by Rubaitul Azad on Unsplashはじめにこんにちは、2021年4月にFinatextに新卒で入社し、まもなく3年目になるToshiya Matsuzakiです。サーバーサイドエンジニアとして、AWSでのインフラ構築とGoによるシステム開発を行っています。 先日、MySQL5.7系互換であるAmazon Aurora v2を使用していたリリース前のプロダクトのデータベースを、MySQL8.0系互換であるAmazon Aurora v3にアップグレードした際に、予期せぬバグが発生しました。調べたところ、MySQL5.7から8.0へのアップグレードに含まれていた破壊的変更点によるものでした。 そこで、今回のバグから得た学びと対応方法について書きたいと思います。現在稼働しているシステムに対して、MySQL5.7系から8.0系にアップグレードをすることを検討してい
MySQL 8.0は何が優れていて、どこに注意すべきか。データベース専門家が新機能を徹底解説 - エンジニアHub｜Webエンジニアのキャリアを考える！
MySQL 8.0は何が優れていて、どこに注意すべきか。データベース専門家が新機能を徹底解説 MySQLの最新版「MySQL 8.0」正式版が2018年4月にリリースされました。数多くの機能や設定が追加・変更されているMySQL 8.0の「知っておきたい便利な機能」や「危険なハマりどころ」などを、My SQLの専門家に教えてもらいました。 2018年4月、世界中のエンジニアが待ちに待ったMySQL 8.0の正式版がリリースされました。本リリースに伴い、数多くの機能や設定が追加・変更されており、MySQLがより便利なものへと進化しています。 MySQL 8.0で積極的に利用すべき目玉機能や、知っておかなければ危険なハマりどころなど重要な変更点を、MySQLの保守サポートやコンサルティングなどを専門とする株式会社スマートスタイルの中野真也さんと成田優隆さんに解説してもらいました。 中野真也（な
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 - エンジニアHub｜Webエンジニアのキャリアを考える！
なぜ、SQLは重たくなるのか？──『SQLパフォーマンス詳解』の翻訳者が教える原因と対策 『SQLパフォーマンス詳解』の翻訳者の松浦隼人さんに、8つの「SQLが重たくなる原因とその対策」を聞きました。システムのボトルネックになるような「問題のあるSQL」を回避するノウハウを学びましょう。 データの操作や定義をする言語「SQL」は、どのような領域を担うエンジニアにとっても必修科目です。しかし、その仕様をきちんと理解し、パフォーマンスに優れたSQLを書ける方はそれほど多くありません。問題のあるSQLを書いてしまい、知らぬ間にそれがシステムのボトルネックになってしまう事態はよく発生します。 では、どうすればそうした事態を回避できるのでしょうか？ そのノウハウを学ぶため、今回は『SQLパフォーマンス詳解』の翻訳者であり、自身もエンジニアでもある松浦隼人（まつうら・はやと／@dblmkt）さんに8つ
tmp_table_size のチューニングとメモリ上に一時テーブルが作れないクエリ - Qiita
Created_tmp_disk_tables の意味 MySQL のチューニングする際に指標とするステータスの一つに Created_tmp_disk_tables というものがあります。 詳しくはもっと詳細な記事を見てくれればいいですが、クエリ実行時にメモリ上に収まりきらなかった一時テーブルを、ディスク上に作成した回数を意味します。 参考:MySQLの「temporary table (一時テーブル)」 と「tmp file(テンポラリファイル)」の違いと「Copying to tmp table」と「copy to tmp table」の違い | 田舎に住みたいエンジニアの日記 そもそも一時テーブルが肥大化するのはテーブルやクエリの設計に問題がある場合もあるので、 まずはクエリ自体を改善して巨大な一時テーブルが作られるのを抑制すべきですが、 大きなデータの集計を定期的に行うなど、要件
クエリ発行してたら「ERROR 1114 (HY000): The table 'tablename' is full」って怒られた話 - あーかいぶすハイディフィニション
なんでさ！ はい基本情報チェーック 利用しているデータベースは全体で 2Gbyte ちょっとあって、MySQL Cluster (7.2.17) で動いてる。is full って文句を言われた時に実行してたクエリはぼかすけどこんなん。 mysql> mysql> UPDATE tablename SET column1 = '' WHERE 〜〜〜 LIMIT 20000; ERROR 1114 (HY000): The table 'tablename' is full 特定の箇所を全部うめるとかいうあれ、二万件毎を処理してた。 ググる 大正義。 MySQL Clusterでエラーが出た場合の対処 · GitHub 原因はなんだ？ オンメモリデータベースなのと、直近の ndb_mgmd.log から「Datamemory Usage 80%」を超えてたので、あー容量たりねえのかな？と思っ
CVE-2016-6662 MySQL Remote Root Code Execution / Privilege Escalationについて - Qiita
CVE-2016-6662 MySQL Remote Root Code Execution / Privilege EscalationについてMySQL 免責 取り敢えずわかっている範囲で書いただけなので、手元で再現やパッチの正当性は確認していません。 自己責任でどうぞ。 これ(2016/09/22 22:00)以降新しい情報が出てきても、おそらくもう更新しません。 CVE-2016-6662 についてはこちら MySQLに重大な脆弱性見つかる、パッチ存在せずデフォルトで影響 - ITmedia ニュース oss-sec: CVE-2016-6662 - MySQL Remote Root Code Execution / Privilege Escalation ( 0day ) この脆弱性を再現させるために必要なもの (未検証) 5.5.52, 5.6.33, 5.7.15は影響を
KOSHIGOE学習帳 - [MySQL] パフォーマンス関連メモ
{{toc_here}} InnoDB パフォーマンスチューニング MySQL :: MySQL 5.1 リファレンスマニュアル :: 13.5.11 InnoDB パフォーマンス チューニング ヒント MySQL :: MySQL 5.1 Reference Manual :: 13.6.13.1 InnoDB Performance Tuning Tips 長過ぎる PRIMARY KEY を避けてディスク領域の無駄遣いを避ける セカンダリインデックス用に余計な領域を使わないよう、長い主キーを避ける 主キーが長い場合、代わりに AUTO_INCREMENT なカラムを主キーとして作成するとよい 補足 MySQL :: MySQL 5.1 リファレンスマニュアル :: 13.5.13 InnoDB テーブルとインデックス構造 MySQL :: MySQL 5.1 Reference Ma
MySQLのmy.cnf に日本語コメントを入れてみた | QK
ども、すっかり暑くなりましたね。夜暑くて、寝つきが悪く、この季節は、本当にどろどろした朝をむかえます。 なるべくであればクーラーは使いたくないのですが、とにかく快眠することを優先で考えるのであれば、やはり使っちゃいますよね・・タイマー使って二時間後 に切れるように設定しております。とにかく寝ちゃえばこちらの勝ちです。その代わり、暑くてどろどろした朝をむかえるのは変わらないですが（笑 そしてMySQLの話です・・。ちなみに今回の話は、熱帯夜の話とはぜんぜん関係ありません。 my.cnf のパラメータについて 私だけだと思うのですが、MySQLのパラメータの設定項目の多さにはかなり辛い・・しかしながら、幸いにもMySQLのエキスパートさん達が次々 とパフォーマンスチューニングに関する情報を公開してくれるおかげで、設定を行うこちらがわもだいぶ楽になってきました。本当に感謝です。なので、中山と し
3. ユーザガイド — mroonga v3.03 documentation
3.1. インストール確認¶ MySQLサーバの起動停止方法は通常のMySQLと同じです。 MySQLサーバを起動した上でmysqlコマンドで接続します。パスワードを設定済みの場合は -p オプションでパスワードを指定して下さい。 mysql> SHOW ENGINES; +------------+---------+------------------------------------------------------------+--------------+------+------------+ | Engine | Support | Comment | Transactions | XA | Savepoints | +------------+---------+------------------------------------------------------
MySQL の INSTALL PLUGIN に失敗する時の処方箋（mroonga-1.20編） - Y-Ken Studio
MySQLにストレージプラグインを登録しようとした際、予期せぬエラーが起きる事があります。 mroonga の事例を用いて、その原因と解消法を紹介します。 Case.1: API version for STORAGE ENGINE plugin is too different mysql> INSTALL PLUGIN groonga SONAME 'ha_groonga.so'; ERROR 1126 (HY000): Can't open shared library 'ha_groonga.so' (errno: 0 API version for STORAGE ENGINE plugin is too different) 原因：異なる(おそらく古い)MySQL向けにコンパイルされたプラグインをMySQLに読み込ませた事によるエラーです。 解決法：そのプラグインが推奨するMy
Using MySQL as a NoSQL - A story for exceeding 750,000 qps on a commodity server
UPDATE: Oracle officially released memcached daemon plugin that talks with InnoDB. I'm glad to see that NoSQL+MySQL has become an official solution. It's still preview release but will be very promising. Let's try it to make it better! Most of high scale web applications use MySQL + memcached. Many of them use also NoSQL like TokyoCabinet/Tyrant. In some cases people have dropped MySQL and have sh
MySQL :: MySQL 8.0 リファレンスマニュアル :: 13.7.7.29 SHOW PROCESSLIST ステートメント
SAVEPOINT、ROLLBACK TO SAVEPOINT および RELEASE SAVEPOINT ステートメント
Mysql | 開発日記 〜Doinet〜
June 2016 (1) May 2016 (1) January 2016 (1) December 2015 (1) November 2015 (1) October 2015 (1) September 2015 (2) August 2015 (1) July 2015 (1) June 2015 (2) May 2015 (2) April 2015 (1) March 2015 (1) January 2015 (1) December 2014 (3) October 2014 (5) September 2014 (2) February 2014 (2) July 2013 (3) June 2013 (1) January 2013 (2) December 2012 (1) November 2012 (1) October 2012 (5) September
InnoDBのログとテーブルスペースの関係
InnoDBのデータ領域はログファイルとテーブルスペースという、切っても切れない2種類のファイルから構成されている。ログファイルは名前からするとただのログだから削除しても平気かな？と思って削除してしまうという問題が後を絶たない。そこで、今日はログファイルとテーブルスペースの関係について説明しようと思う。 InnoDBのログファイルは、別名WAL - Write Ahead Logと呼ばれるもので、名前を日本語に直すと「前もって書き込んでおくためのログ」とでも呼べるだろうか。InnoDBのテーブルに対して行われた更新は、全ていったんログに書き込まれるのである。トランザクションがコミットされると、innodb_flush_log_at_trx_commit=1が設定されていればログファイルに書き込みが行われる。0または2の場合には、ログバッファと呼ばれる領域にデータが保持される。その後、時間を
MySQL innodb_flush_method = O_DIRECTの検討 - SH2の日記
MySQL InnoDBのパラメータでinnodb_flush_methodというものがあります。これはUNIX/Linuxにおいてデータファイル、ログファイルの読み書き方式を指定するためのもので、マニュアルの13.6.3. InnoDB Startup Options and System Variablesによると以下の3種類の設定が可能とされています。 無指定(fdatasync)：デフォルトの設定です。特別なフラグなしでファイルをオープンし、書き込み時にfsync()を行います。 O_DSYNC：データファイルについてはfdatasyncと同じです。ログファイルについてO_SYNCフラグをつけてファイルをオープンします。 O_DIRECT：データファイルについてO_DIRECTフラグをつけてファイルをオープンします。ログファイルについてはfdatasyncと同じです。 今回はこのパ
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
innotopでMySQL状態をtop風に表示（グループ単位で！） - mikedaの日記
innotopはMySQLの状態をtop風に表示するコマンドです。 DBを1台ずつ見ていくぶんには特に使う必要性を感じなかったのですが、 サーバのグルーピング＆一括表示機能があることを知ってこれはけっこう便利なのでは？と思いなおしたので インストールからグループ設定までについて書いてみます。 サンプルイメージ グループ単位でクエリーリストを表示 グループ単位でレプリケーション状態を表示 インストール ここからダウンロードしてインストールします。 ※今回使ったのはinnotop1.8 ＆ CentOS5.Xです。 依存モジュールのインストール # yum install perl-DBI perl-DBD-mysql # rpm -Uvh http://download.fedora.redhat.com/pub/epel/5/x86_64/epel-release-5-4.noarch.r
MySQLのEXPLAINを徹底解説!!
以前、MySQLを高速化する10の方法という投稿で「EXPLAINの見方についてはいずれ解説しようと思う」と書いてしまったので、今日はその公約？を果たそうと思う。 MySQLのチューニングで最も大切なのは、クエリとスキーマの最適化である。スキーマの設計は一度決めてしまうとそのテーブルを利用する全てのクエリに影響してしまうためなかなか変更することは出来ないが、クエリはそのクエリだけを書き直せば良いので変更の敷居は低い。そして遅いクエリをなくすことは、性能を大幅に向上させるための最も有効な手段である。従って、アプリケーションの性能を向上させたいなら、まず最初にクエリのチューニングを検討するべきなのである。 最適化するべきクエリはスロークエリログやクエリアナライザで見付けられるが、ではそのようなクエリが見つかった場合にはどのように最適化すればいいのか？そのためにはまず現在どのようにクエリが実行さ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Yakst | 人力翻訳コミュニティ
Handlersocket etc. 20110906