pixivのブックマークに関する負荷対策をしました - pixiv inside

10/22(金) 追記 この記事で解説している内容について解説する勉強会を開催することとなりました。以下のconnpassよりお申し込みください。 pixiv.connpass.com 10/22(金) 追記 pixivのブックマークについて ブックマークDBの問題について 具体的な対策内容 論理削除廃止・index追加・ブックマークタグのテーブル分割 適応ハッシュインデックスの無効化 アプリケーションコードのリファクタリング・全発行クエリの列挙と見直し 大きな更新処理の非同期化 結果 あわせてよみたい pixivではサービスの成長に伴い、気に入った作品に対して付けることができるブックマークの総数が急速に増加しており、ユーザーの皆様に滞りなくサービスを提供し続けるためブックマークに関するデータベース(以後DB)の負荷対策が必要になりました。 2021年2月より対策を行うプロジェクトを発足し

[leokun0210]

pixivのブックマークはちょっと特殊で、ブックマークするアイコンがハートになっているからいいねの意味も含めていると思う。だからブックマークに積みあがってしまうのだ。別に「いいね」もあるけど皆押されにくい

[FromAtom]

サラッとやばいこと書かれている。 “この擬似的なALTERをベースとし、必要に応じてトリガーやデータを補正するためのバッチスクリプトを組み合わせ、pixivを無停止でテーブル構造の変更を行いました。”

[zonu_exe]

入社したときからサービス無停止のDB移行に慣れてたので感覚が麻痺してたけど、年々進化してる上についに今回のプロジェクトではこの規模のテーブルでも無停止で移行できるようになったので技術革新すごい。

[harukasan]

一大プロジェクトでした。そしてめちゃくちゃ細かく描かれてすごい

[kazkun]

「ブックマーク数が100万を超えるユーザーも存在しています」 サラッと言ってるけど鬼ユーザーだな。

[ryouchi]

もう、それブックマークの意味なくない？ “ヘビーユーザーの中にブックマーク数が100万を超えるユーザーも存在しています。”

[joker1007]

いかついRDBでちゃんとやってて凄い。結構移行手順がシビアだな。緊張しそうだ……。

[vlxst1224]

ほとんど海外ユーザーがメインになってるからトラフィックも半端ないだろうな。零細垢である自分のイラストについたブクマの大半は海の向こうの同志たちだし、国内で治まる器ではなかったということか……小生が……

[gfx]

リアルISUCONだ。大変だけど楽しそう。

[GiveMeChocolate]

pixivのアプリしょっちゅう読み込み失敗するし、検索欄に出てくるピックアップされたタグのサムネイルのイラストに直接アクセスできないのが意味不明なので直してほしい 長押ししたらそれに飛べるくらいできないんか

[yamato105]

pixiv ブックマーク

[k_enoki]

“この擬似的なALTERをベースとし、必要に応じてトリガーやデータを補正するためのバッチスクリプトを組み合わせ、pixivを無停止でテーブル構造の変更を行いました。 ”

[nilab]

pixivのブックマークに関する負荷対策をしました - pixiv inside

[tsuwatch]

規模は違えど同じような問題を抱えていたので励みになる

[kamipo]

タグ10なくしたのマジで偉業やん

[suika3417]

"JOINが不要になるようにクエリで必要なカラム(ユーザID等)をこのテーブルにも配置" 目から鱗だった

[sds-page]

後で見返すわけでもない、高評価の意味でのpixivのブックマーク文化ってどうかと思ってたんだけどコメントするためにブックマーク使ってるやつらと似たようなもんか

[nekonyantaro]

文章はさらっと書いてあるが中味はかなりすごい仕事をしているらしい事がほかのブコメから判る。

[ichiken7]

旅客機のエンジンを飛びながら取り替えるみたいな…。

[manFromTomorrow]

こういうのNoSQLでやるもんだと思ってた…

[flont]

レプリケーションはクエリ転送してるだけだからテーブル構造に互換性があれば使えるのかな。しかしこの規模で無停止はなかなか凄い

[kuzumaji]

サービス停止無しでこれはすごいな…

[razokulover]

偉業

[honeningen]

テーブル構造変えてからでもレプリケーション再開できるんだ、MySQLすげえな。

[shikiarai]

無停止移行……気分悪くなるな……まぁ自社システムなら吐き気も半分で済むか……

[kkobayashi]

こりゃあすごいや

[tofu-kun]

参考になる。緊張やばそう

[andalusia]

その規模になるとNoSQL でハッシュハッシュするのが当然と思ってた。RDBでやりきっちゃったんですね。すごいけど技術的負債は返済どころか複利で増えてる感も。

[shinobue679fbea]

新テーブルが本当に旧テーブル互換に移行できたのか考えると夜も眠れなくなりそう

[murashit]

ヤバ

[tcmsc]

pixivのブラウザ版には「いいね！」ボタンが表示されるけど、アプリ版だとボタンが表示されない。だからアプリ版では気に入った作品に対してブックマークするしか選択肢がない。アプリにもいいねボタン追加して欲しい

[Nyoho]

“6月のindexの追加、9月のタグ絞り込みに関するテーブル分割の完了により、ブックマークDBのSlowQueryの数を最終的にほぼ0にすることができました”

[amatou310]

こんな詳細に書いて大丈夫なの？って心配になる。興味深い。

[oakbow]

ALTER使わない無停止DB移行ってこうやるのか。複数DB前提だけどななるほどなあ。こういう事例に関わることはそうそうなさそうだけど応用できそう

[soreso]

クエリ解説ありがたや……!!　タグ多用マンなので感謝しきり。。／近年はアプリ快適＆サジェストの精度があまりにも高くて無間地獄（天国）

[pascal256]

後で読む