MySQLのutf8mb4と戦った話 - Uzabase for Engineers

皆様こんにちは、NewsPicksエンジニアの米澤です。 先日 2023/03/30は、こちらでアナウンスしていた通り、サービスの停止を伴うシステムメンテナンスを実施させて頂きました。 NewsPicksをご利用頂いている皆様には、ご迷惑おかけいたしました。 今回はこのメンテナンスの中で行われたDBテーブルのmigrationについてお話ししたいと思います。 ことの始まり やったこと 方針決め utf8mb4に対応していないテーブルを調べる migrationを作成する 影響範囲を調べる 開発環境でリハーサルを行う メンテナンスの日 最後に ことの始まり NewsPicksではバグの検知にBugSnagを利用しています。 ある時、BugSnagにこんなエラーが通知されてきました。 org.springframework.orm.hibernate4.HibernateJdbcExcepti

[ys0000]

ちょくちょく話題に上がるやつ。日本人なら気にしないといけないよなぁ。ただ絵文字のお陰で世界的にUTF8をちゃんと意識するようになったのがありがたい。ありがとうemoji！

[nmcli]

我々はいつまで文字コードと格闘しないといけないのだろう

[chi-bd]

collationはどうしたのか気になる

[kazuau]

(追記とコメント返しをしていただいたので、念のため消します)

[rkosaka]

さすがに本番のDBにあるデータを開発環境にコピーするときは匿名にしてるのでは？

[rdlf]

ただのutf8だと絵文字から後ろのデータが登録されなくて消えたんだっけ？最近作るシステムは🍣🍺問題があるから照合順序はutf8mb4_binだなぁ…

[prograti]

MySQLがutf8mb4に対応したのがバージョン5.5で2010年くらいだからNewsPicksって随分古いシステムなんですね。エラーが既にEOLのHibernate 4系っぽいしメンテ大変そう

[monzoup]

コメントありがとうございます。個人情報などはマスクされていますので、追記してもらいました。

[takahiro_ikegawa]

お疲れ様でした！

[masa_edw]

NewsPicksは今年で10年ですが、これに限らず歴史があるシステムには大なり小なりこういった問題がゴロゴロしています。新機能開発と古い部分の更新とどちらも求められる中、頭を悩ませつつ進めています。

[murasuke]

特定テーブルだけ変えると、JOINでエラーが出たりとか、ソート順とかその辺とか大丈夫なのかな

[hiroomi]

””一度間違って低スペックのままmigrationを実行して1時間程度かかってしまったので、リハーサルをする際は本番相当の環境で行うことが重要です。安心を買う。

[tamanecoplus]

utf8mb4化するまでの間は4バイト文字だけエスケープして保存みたいな変換パッチ当てて凌いでた

[tettekete37564]

そういやDBD::mysqlって未だ毎回SET NAMES utf8しないと文字化けんのな。utf8mb4_enabled的なフラグある癖にまさか読み出しにか効かないとは。というのに最近ハマった。

[hdampty7]

数分で終わるっていうからデータ量大したことないのかな。どうせメンテナンスするならdump＆インポートしてデータの分散化を解消しておきたいところ。長く運用しているとねぇ、止められる時にいろいろやりたい。

[jiro68]

ラテン文字圏で生きてきた人ならともかく、日本のITエンジニアで文字コードに注意を払ってないのは単に無知でしたという話では？今時はラテン文字圏でも絵文字があるから utf8mb4 使うし。

[strawberryhunter]

これも戦ったうちに入るのか。

[circled]

つ PostgreSQL

[sds-page]

Shift-JISはダメだな！UTF-8にしとけばいいんだろ！ぐらいの理解だとどこかでやらかす奴

[Wafer]

これで本当にいいのか感はあるが...

[asuka0801]

本番のデータをマスクしてステージングにコピーなんて何処でもやっとるやろ。

[honeybe]

🍣🍺問題(ぉ

[yukinissie]

絵文字が保存できなくて頭抱えた時代を思い出しましたw

[integrated1453]

めちゃくちゃいい話