受取期限の過ぎたデータをMySQL上から削除する話 | GREE Engineering

こんにちわ。せじまです。今回は地味で泥臭い話をします。ただ、割と平易な内容かと思いますので、初学者の方にもオススメです。 はじめに ゲームでは、受取期限のついたログインボーナス的なものがよくあります。ユーザが期限までに受け取らないと、ユーザからそのデータは不可視になりますが、必ずしも、不可視になった瞬間にデータベースから直ちに削除される、というわけでもありません。バッチジョブか何かで、ガベージコレクションのように削除するケースが多いのではないでしょうか。 また、論理削除という概念もあります。論理削除についてはいろいろ意見や考え方があるかと思いますので、ここでそれについては論じませんが、「削除フラグが立ってユーザから不可視になった後、三ヶ月以上経過したデータを削除したい」みたいなことは、ゲームに限らず、しばしばあるんじゃないかなと思います。 こういった、ユーザから不可視になってしばらく経過し

[kuniomu404]

地味だけど、大規模サービスでないと経験できない貴重で大事な話。

[kino2nd]

小規模なのでupdated_atにセカンダリインデックスつけておいて一定間隔で3秒あけて1000件ずつのupdated_at条件の削除で間に合ってる。並列化とか考えるとPK指定じゃないとロックが怖いけど、並列じゃないなら問題ない認識

[taruhachi]

updated atは更新データなのでパーティショニング対象とできなかったという認識。(嘘、そんな制約はなかった。)基本的な考え方としてロック時間を短くする為にSelectはレプリカでかけてDeleteはインデックスで刈り込むと。

[Kesin]

昔にソシャゲ運用を担当していた時にほぼ同じ方法を使っていた。DELETEは重いのでsleepして流速を抑えるという話まで一緒だ

[deep_one]

レプリカでselectするのがいじましい…selectするだけでやばいサイズなんだな。

[ys0000]

マーケットでも有効期限つきクーポンとかあるからそういうのに使うのかも。

[koluku]

クラウド化が進んだ結果、不要になったデータは無害なら刈り取らなくなることが多くなったのでここらへんの知識は貴重だなぁ

[nippondanji]

とても実践的ないい話だと思った。

[dicdickey]

後で読みたい

[yarumato]

“ユーザ不可視になったデータ（受取期限ログインボーナス）を蓄積するとデメリット（ストレージ容量等）。LIMIT 1000のDELETEをslep 3秒間隔で発行。重いSELCTはreplicaに。source/replica（以前はmaster/slave、Auroraだとwriter/reader）”

[ouest]

DELETE 時にセカンダリインデックスを使用するとロック競合する場合があるので、プライマリキーで DELETE する

[hiroomi]

三ヶ月以上経過したデータを削除したい」みたいなことは、ゲームに限らず、しばしばあるんじゃないかなと思います。

[jiro68]

有効期限切れを updated_at で判別する意味がよく分からない。受取日付で updated_at を更新しても運用中に消えていく。受取率/数が十分に少なければ、updated_atでパーティショニングしてDROP運用も一案。多ければ更新で死ぬけど

[n314]

まだこういうの手動でやらないとダメなのかな？Oracleとかだったら昔から自動？

[hasiduki]

勉強になりそう！

[tofu-kun]

知見

[forest1040]

深い