はてなブログのキャッシュ周りをきちんと改善したら、アプリケーションサーバの台数を半分にできた話 - Hatena Developer Blog

はてなブログでSREをやっているid:cohalzです。 2019年12月頃からid:utgwkkやid:onkとともに、はてなブログにおけるキャッシュ周りの改善を行いました。その結果、次のような成果が得られました。 ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上 アプリケーションサーバの台数を、以前の半数以下に削減 DBに届くリクエスト数が、以前の3分の2まで減少 レスポンスタイムの平均が、以前の8割まで減少 この記事では、実際にどういった改善を行ったのか、その際に気をつけたことや大変だったことを紹介します。 はてなブログがVarnishを導入した経緯と課題 開発合宿をきっかけに問題が明らかになる 進め方をまず考える ホストのメモリをできるだけたくさん利用する メモリを積んだホストでなぜかレイテンシが悪化 キャッシュが分散しないようVaryヘッダを使う デバイス情報を適

[cohalz]

しました

[shiba-yan]

内容はめっちゃ良いし、はてなブログ便利だから応援してるんだけども、2016 年に Varnish 導入してからヒット率 8% なのに 2019 年まで気が付かなかったの最近のはてな事情を表してそう…（辛い

[htnmiki]

ついでにブクマ検索の改善もお願いします！

[togusa5]

おう、はてブ高速化あくしろよ

[tettekete37564]

ブクマ検索おかしいよね。明らかにコメントに含む文字列なのにヒットしない事が多いっつか大抵引っ掛からなくて記憶違いか？と思って洗ってくとやっぱりあるやんけっての多いぞ

[tagomoris]

いい話、キャッシュつくったらヒット率をモニタするの、全人類に伝えたい

[kenzy_n]

改善が進むことは良い事

[matsumoto_r]

“ngx_mruby版の方がむしろレイテンシもよく、エラーも返すことはないことを確認できたため、ngx_mruby版に置き換えました” ちゃんと定量評価されてて良い！作者としてはうまく動いてよかったという気持ちも。

[dekokun]

めちゃくちゃいい。私の発表資料も載せてもらっている。 "ブログ記事のキャッシュヒット率が、1日平均で8％から58％に向上"

[shikiarai]

ブックマークとスターも開発合宿していいですよ

[takenoko-str]

“キャッシュヒット率”

[thaim]

キャッシュまわりの取組みは具体的にどうすればいいか悩ましいことが多いので非常に参考になる．

[juve534]

見様見真似でモニタリング会を始めており、こういうことまでやっていきたい

[rryu]

キャッシュヒット率平均8％ってほぼキャッシュできてないのでは…

[tmatsuu]

VarnishのリクエストヘッダーでUser-Agent書き換えやQueryString正規化、やるやるわかるー。自分はUser-AgentもVarnish上で書き換えてたな。gzipは最近のVarnishではよしなにやってくれた気がするが気のせいかも。

[kiririmode]

nginx-varnishの構成。varyヘッダをuaに対して適用していたがそれをpc/mobileの2つに集約

[amourkarin]

はてな、キャッシュというタイトル見てはてなの収益改善の話と勘違いした。ある意味間違ってはいないか？

[onesplat]

最初からCDN使えば良くね？

[mobius118_7]

SREはすごい。今までのインフラ担当の怠慢具合が続々と暴かれていきそう

[Shisama]

すごい成果！地道だけど良い知見。続報が楽しみ

[ken39arg]

元がどうであろうと、こんだけ費用圧縮したらボーナスや基本給にどのくらい影響を与えたのか気になる。

[kumoha683]

やったことがエビデンスにキチンと現れるとやってて楽しいよね

[guldeen]

かつての2chで、UNIX板の有志が2chサーバの使われ方を改善、劇的に負荷が減った逸話を思い出した。

[hdampty7]

こういう記事が書かれてると何かに成功しているかの如く見えるけど、そう見せるのが技術だったりする。実際には問題の質量は保存されれてＡからＢに移っただけ。それで十分な場合もあるし、馬鹿っぽいこともある

[yamadadadada2]

こういう地道なのって根性いるのでやりきったのはすごい

[teckl]

当初のヒット率が…やはりキャッシュヒット率はコンテンツの性質にもよるんだろうなぁ…　しかし地道な改善の継続は本当に大切

[YusukeIwaki]

すごい

[yosuke_furukawa]

きちんと調査し、改善策をするだけでなく、それを公開して全体に知見を見せる黄金の精神

[quabbin]

計測がきっかけ。やはり計測は重要だ

[cardmics]

はてなブログは一括置換ツールを早く導入して欲しい。

[ryuichi1208]

後で見る

[kanehama]

還元されてることを祈る

[Sediment]

あとで

[tym1101]

全く分からんけど、大手でも小さいところでも、改善は小さなことの積み重ねだということが分かる。ちょっと自信出る。

[ngmy]

「相変わらずブコメしたのにしばらく反映されなかったり表示するたびにスターの数が違ったりするけどこれで改善されたのか…？」と思ったがはてブアプリの話じゃなかった。

[sora_h]

貫通割合指定本部良すぎる

[nakag0711]

Varnish使ってるのか

[kamm]

はてブが重くてブックマークボタン押しても無反応なことが多々あり。自分だけ？

[jun6428]

耳が痛い話

[kkobayashi]

全く詳しくないが頑張ってるのは伝わる