サーバダウンしたニコニコ漫画に何が起きていたのか - BOOK☆WALKER inside

こんにちは。メディアサービス開発部Webアプリケーション開発課の奥川です。ニコニコ漫画のバックエンド開発を担当しています。 2021年初頭、ニコニコ漫画である作品の連載が開始されました。それに端を発する数カ月間のサーバ障害により、ユーザーの皆様には大変ご迷惑をおかけしました。 少し前の話にはなりますが、当時ニコニコ漫画のサーバでは何が起こっていたのか、どのような対応を行ったのかを振り返ってみたいと思います。 1号棟（事の起こり） 2021/01/08 問題の作品（以後、「作品I」*1と記述します）の第1話が投稿されます。その過激な内容からSNSなどでは一部で話題になりましたが、まだニコニコ漫画へのアクセスも穏やかなものでした。 2021/01/22 その2週間後、「第2話（前編）」の公開から事件が起こります。 ピークタイム最中の12:22頃から、まずmemcachedがCPU Utiliz

[castor]

書き始めた時点のタイトルは「人妻に襲われたニコニコ漫画に何が起きていたのか」でした

[hannover]

“2号棟（人妻たちとの戦い）”作品名全く隠す気ねえな！

[whkr]

近隣住民ʕ•̫͡•ʕ•̫͡•ʔ•̫͡•ʔ•̫͡•ʕ•̫͡•ʔ＜また人妻かよ…,

[sugawara1991]

読める、伏せてある作品名が読めるぞ

[ArcCosine]

人妻と戦うと書いてあって、文字通りに読むと意味が分からないのだが、なぜか理解出来てしまった現象。

[honeybe]

x「人妻」○「変態人妻」 / すごい。おつかれさまです。

[ringoh72]

団地の管理人だけじゃなくてサーバの管理人も奮闘していたんだな…

[irimo]

負荷対策の話面白い。障害告知を書いておくと、心理的にそのあたりの時間のアクセスを避けて、時間が明けた頃にアクセスする、というのはあると思うので、オカルトではないと思います。

[spark7]

ニコニコ静画とニコニコ漫画の違いがわからん。同じ配信元でも静画と漫画のロゴが付いた作品が混在してる

[stack00]

人妻の文字で察した。運営側との戦いでもあったか。

[runa_way]

作品I、連載開始が二年近く前ということに震える

[tmatsuu]

PHPはリクエストのたびにコネクションを張るのでそれが負荷になることが多くRDS Proxyは有効な対策。back_logはいじることなかったけど同じシーンだとtable_open_cacheの引き上げが有効なことが多いと思う。

[dogusare]

あ、の…本編の格闘記はもちろん感心した。のだが、その、エロ漫画を昼休み？に閲覧する文化ってのが有ることに驚いている。みんなそれで午後どんな心持ちで過ごしているのだろうか…。(w

[yogasa]

搾精研究所はモザイクいれなくていいんだ

[lunastera]

“先入観は怖い”

[non_117]

オンプレから移行した企業って感じだ

[rizenback000]

“人妻たちとの戦い”

[yahihi]

ボトルネックは書込負荷じゃなくてデータベースへの接続数だったってことか

[mizdra]

良いインターネット

[karukaru7]

ここでも名前を言えないあの作品じゃねーか！

[HiddenList]

ニコニコ漫画って　ブックウォーカー運営なのか

[rrringress]

あれか

[kokumaijp]

ニコニコ静画のお気に入り漫画ページをずっとタブに表示させているんだけど、新作きてないかと思って更新するとめっちゃ時間がかかるんだよなあ

[AirReader]

企業技術ブログの醍醐味みたいな記事で良い

[CAX]

朗読：杉田智和( https://www.youtube.com/watch?v=weWpt3nFApc )

[hatebu_ai]

どうせ淫獣団地の件だろうと思ったらやっぱりそうだったｗ

[odmishien]

Auroraのwriterの負荷問題は結構どこでも抱えてるんだな……やはりまずは更新系と参照系をお行儀よく振り分けるところから

[cocoasynn]

この問題に限らずだけどユーザ影響でかい障害はどうしようもなく困ったならサポートに早めに頼るべきだと思うな…

[kotas]

名前を言ってはいけないあの作品／更新後のレプリケーション遅延避けに更新用DB読みに行くのを、更新前にもやっちゃってた感じか。DBコスト半分削減はすごい

[shingo-sasaki-0529]

人妻から学べるノウハウが多すぎる

[ebo-c]

原因が搾精病棟全年齢版じゃなくてよかった。見出しが「なにがKADOKAWAブランドですかぁああ！！こんなジジババのたまり場に権威なんてありませぇええん！！」になるところだった(ない)

[nagatafe]

お前はYou Tubeで作品名言えない外人かｗ

[takahashim]

ConnectionAttemptsが秒間数千以上になると接続が不安定になるのか…

[rideonshooting]

途中から作品名を隠す気がなくなって草。中身は過酷なアクセスと戦う真面目なサーバの対策の話、お疲れ様でした。

[daishi_n]

そういや、ElastiCache for Redisは新規接続のメトリクスがあるけど、AuroraのConnectionAttemptsはあまり気にしてなかったな。ある程度の流量があるなら1分単位のメトリクスでも判断ができそうだ

[sirobu]

Twitterトレンド八分くらってる、名前を出してはいけないあの団地

[saiid]

“障害告知のお知らせをあらかじめ書いておくと障害が発生しないというオカルトが稀に発生するため、念のため用意しておきます。”

[pikopikopan]

噂だけで知ってる例の漫画のためなのか