毎日本番DBをダンプして、ローカルと開発環境で利用して生産性を上げてる話

シードデータで動作確認して大丈夫だったのに、本番反映してみたら想定してなかった挙動・エラーが出た😱そんな経験はありませんか。 恥ずかしながら私は今までに何回もありました。機能開発だけじゃなくバッチやマイグレーションなんかでも発生しがちなコレ。またはシードデータで動作確認できても、本番データでも通用するか検証ができないままプルリクを作る、なんていうこともあると思います。今回はこちらを無くす試みをしたお話です。 「もう本番DBで開発しちゃえばいいじゃない」の問題点 この課題を解決するには、極論すると本番DBで開発するしかないのですが、そうなると言うまでもなく以下の問題が出てきます。 レビュー通過してないコードが本番に影響を与える トライ＆エラーができない 個人情報をはじめとするセンシティブな情報が開発者の端末に漏れる データ量が多すぎてローカルに持ってこれない しかし言い換えると、これらをク

[turanukimaru]

マスキングしたデータって例えば氏名に機種依存文字が入ってるデータがマスクされて無くなってたりするのでかえってバグを隠しちゃうことがあるんだよな。使えるデータかどうかの判断は難しい。

[ngsw]

毎日やるとI/O費用大変になるかもしれない

[mak_in]

秘密情報保護の観点で、開発環境にあるといくらマスクしても事故るリスクが払拭できず怖いので、間をとってリリース前に動作確認する保守環境で、似たようなことやってるな。もちろんそちらはちゃんと保護整備して。

[b_wa]

テストのパターンが足りないだけなのでは。本番データは量が多いだけで発生しうるパターンを全網羅しているわけではないから（極端な例、本番にはまだ男性ユーザーしかいない、とか）。負荷試験は別問題。

[NOV1975]

これがコスト上問題にならない程度のシステムならちゃんと網羅性のあるテストケース作った方がいいよ。将来のデータ増加などは本番データではテストできない。

[roshi]

本番DBのデータが大きいとマスキング処理と外部キー制約の整合性を保ちながら不要データを削除するのに時間がかかって大変だった。この辺 https://github.com/dlt-hub/dlt が解決してくれる事に期待。

[chiroruxx]

匿名化や仮名化、個人情報保護法を少し勉強すると「マスキングしたので大丈夫です。」は結構怖い感覚になると思う。

[nemoba]

匿名加工はIDも変換しないと連結して照会可能で個人情報とみなされるこｔもあって注意が必要だけど大丈夫かな、、

[nil0303]

検証とかテスト用に作ったデータが毎日勝手に吹っ飛ぶと日跨ぎで作業できなくない？

[raamen07]

テストでカバーしろとはいうけど、マジでこんなデータのユーザーいるのかよ！みたいなユーザー限定で起きちゃうバグとか予想つかなかったりするからな

[tmatsuu]

わいわい。1つ改善する点として、Amazon RDSやAuroraはS3に設置したXtraBackupからのリストアに対応してる(Terraformだとs3_importパラメータ)ので、mysqldumpの代わりにXtraBackupを使うとより一層捗るぞと思いました。

[ducktoon]

アンチパターン。特定の問題を解決するために本番と同じ状態を再現できるようにしておくのは自分もやるけど常用することはないな

[QURULI]

色々条件が揃わないとGOできない仕組み。ローカルマシンスペックとか

[Fluss_kawa]

開発環境のDBって、本番では滅多にないようなエッジケースのデータが入ってたりするものじゃないの？過去にこけたパターンとか。あえて壊れてるデータとか。開発環境より検証環境に本番データと同じモノが入っていて

[manFromTomorrow]

オンプレの頃これやってた。本番環境でしか得られないデータの生生しさっていうのはある。

[kabakiyo]

シードデータだとデータ量が少なすぎてSQLの遅さに気付けないことがよくあった。

[pwatermark]

開発者全員セキュリティルームに幽閉できるなら、いいんじゃねえの

[ghostbass]

個人情報がらみで言うとどれだけ慎重にマスキングしても個人情報なのは変わらず、それを開発用に使うのはそういうポリシーを明示してない限り目的外利用だとか言う事はないかね？

[sinoh]

embulkとかでマスキングデータをbigqueryに入れたりするよね

[Mofuyuki]

タイトルだけでヒェッてなった。少しだけ誤解だった。

[dekaino]

誤解を恐れずに言えば「デジタルツイン」ってこういうことなんじゃないの?

[hdampty7]

毎日DBダンプできるようなおもちゃシステムをわざわざgithubアクションとかおもちゃをたくさん使って実現したおあそびの話。ローカルの場合はローカルシードの共有。開発DBもある程度の規模になるとサーバに作る。

[rdlf]

これ社員全員がやったらネットワーク死にそうだけど…

[strawberryhunter]

某社ではみんなMacを使っていたけど、たった200GB程度の本番DBをローカルにコピーできていなかった。

[tofu-kun]

特定ユーザのデータだけ不具合が出るケースとかだと厳しいんだよな

[nippondanji]

MySQL Shellのダンプ＆インポートユーティリティを使うとmysqldumpより爆速になって幸せになれるらしいよ。バックアップが単一ファイルじゃなくてディレクトリになるので運用ちょっと変わるけど。

[lionsage]

ローカルのマシンスペック高くないと本番DBのデータ量減らしても処理するのきつそう。

[daishi_n]

マスキング処理で問題が隠蔽されるのって文字コード周りだよね。住所データとか人名を生成するのは生成AIでリアルなのを出してマスクするのが良さそうだけど

[Wafer]

えらい小さな規模のプロジェクトなんやな

[dorapon2000]

“Amazon Aurora(Mysql)を使っており、本番DBを毎朝ポイントインタイムリカバリしてクローンしています。つまりこの時点では本番と開発環境と本番をクローンした３つのDBクラスターが存在しています。”