MySQL のレプリケーションから10年間逃げてきた我々が学んだこと8選 - Cybozu Inside Out | サイボウズエンジニアのブログ

こんにちは。クラウド運用チームで SRE をしている飯塚です。 今回は、MySQL のレプリケーション機能を約10年もの間ずっと使ってこなかった私たちが、レプリケーションを使った高可用性構成に移行するための取り組みの中で学んだことについて紹介します。 背景 巨大なテーブルへの primary key の付与 トランザクションサイズが大きい場合には tmpdir に注意 mysqldump で絵文字が消えていないか要チェック mysqldump が Error 1412: Table definition has changed... で失敗する mysqldump したデータのリストアが Duplicate entry 'xxx-yyy-PRIMARY-n_diff_pfx01' for key 'PRIMARY' で失敗することがある mysqldump したデータのリストア時のディスク

[circled]

みんなが使っているからという理由だけでMySQLを選択する人が多いけど、PostgreSQLを使えば幸せなことも多いんですよ？

[qtamaki]

「primary keyが付与されていないテーブルが大量にある」( ﾟдﾟ)

[toro-chan]

blobを使ってるtableがある場合は、mysqldumpのオプションに、--hex-blobが必須なことはどっかに書いておいて欲しかった。。よく忘れるんだ。。特に必要な時に。

[su_zu_ki_1010]

技術顧問がいるのが羨ましい。学んだこと知見をこうやってネットに公開して下さるだけで感謝です。

[tossy_yukky]

現代の記事なのか四度見くらいした

[ebo-c]

> 絵文字を含むカラムが unique key に含まれていたことで Duplicate entry が発生して発覚しました / ユーザ名とかかな

[hiroya_ito]

yoku0825 さんかこいい

[Futaro99]

だから最近落ちてたんですか？

[sh2]

技術顧問すごい

[halfrack]

10年逃げ続けたことの方が凄い / それはそうとして新鮮ないい記事

[T-miura]

rdsとかauroraに逃げたい、、、

[rryu]

ログや結合テーブルのIDがオーバーフローすることを避けるためにあえて作らないみたいな話もあったが、それが問題になるという。

[z1h4784]

MySQLのレプリケーションは信用ならないので逃げるという過去の判断は間違いではない。とはいえ近年はさすがに大分改善されてきたけど

[yino__2]

"mysqldump には default-character-set というオプションがありますが、デフォルト値は utf8 であり、絵文字などを正しくコピーすることができません。"

[yutav]

貴重な知見だなあ、こういう誰でもいつかは直面する問題の解決法を、頭の片隅に入れとくだけでも違うよね。

[k12u]

10年前のPostgreSQLといったら外部ツールを使わないレプリケーションがリリースされて直後だけどほんとにその比較はフェアなのか

[diveintounlimit]

これはギジュツテキフサイとかレキシテキケーイとかいうやつじゃないか…？知見の共有は良いがこうなる前にやりようがあっただろうという印象が強い。風船が破裂寸前に膨らむまであぐらをかいてた印象がある。

[tofu-kun]

歴史感じる

[ya--mada]

よくあるやつのまとめ集や。しかも規模がデカいと言うのは既知でも怖いワ。

[furisake]

ポストグレ

[kamocyc]

大規模だと大変そう

[yokoyaya]

レプリケーターが降りてくる！（ガスオジ）しか浮かばなかったので呼んで学ぼう

[deztecjp]

「ダウンタイムが発生するから採用できない」というのは、どうなのかな……。この例では、たまたま代替手段があったからいいけど、サービス停止も選択肢から外さず、「必要ならやる」姿勢の方がいいと思う。

[ikkitang1211]

知見の塊で凄かった。 yoku0825さん…一体何者なんだ…。

[programmablekinoko]

非常に巧妙な運用上のハックが行われとる・・・一般論ではなく、ツールを大規模運用した人にのみ開ける知見というか

[onesplat]

何年前の記事だよこれ

[shimasoba]

対応していない文字コードでダンプする時にエラー出してくれないの?

[onigra]

アツい

[iekusup]

ありがたい。

[solidstatesociety]

大規模だとprimary key 設計しない進め方もあるのか