人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ

技術部クックパッドサービス基盤グループの id:koba789 です。 昨年まではデータ基盤グループというところで 最新のログもすぐクエリできる速くて容量無限の最強ログ基盤 を作ったりしていました。 今年はちょっとチームを移動しまして、検索システムをいじっていました。今回はそのお話です。 なお、クックパッドには様々な検索システムがありますが、この記事では説明を簡単にするためにレシピの検索のみに焦点をあてています。 クックパッドの検索システムにあった課題 クックパッドにはレシピを検索できる機能があります。 プレミアム会員限定の人気順検索もこの機能の一部です。 しかし、この重要な機能を支える検索システムにはいくつもの課題がありました。 Solr が古すぎる クックパッドでは、レシピ検索を含む多くの検索機能にSolrを用いています。 今年の始めに私がこの課題に取り組み始めた時点では、その Sol

[koba789]

私の今年の新作です。仕事ではこんなことをしていました

[yojik]

“ Rust で書かれており、マルチコアを完全に使い切って超高速なダウンロードができます。 この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”

[k0kubun]

tmpfsなのでmmapを使うことになるくだり面白い

[versatile]

いまどきは elastic search 使うのかとおもったが、solr もいいよね

[gfx]

koba789氏の新作だ。大変興味深い。

[denqueue]

"せっかく tmpfs を使っていてファイルの実体がメモリ上にあるのですから、そのページに直接書き込みたいと思うのが自然でしょう。実は、その願いは tmpfs 上のファイルを mmap(2) すると叶えることができます。"

[taiyow]

良い記事だった。仕様を丁寧に分析して制約を設けて実装を効率化するところが、『珠玉のプログラミング』の話みたいで、お見事。/ 利用者に直接見えなくても運用が安定したり費用が減るなら十分じゃん。それも開発。

[razokulover]

“これは Rust で書かれており、マルチコアを完全に使い切って超高速なダウンロードができます。 この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”

[Shin-JPN]

素晴らしい。インクリメンタルにモダンを維持するなんて最初の思想が余程筋が良く、将来予想が当たってないと継ぎ接ぎ化するだけ。作り直しは現行の機能要件の本質をきっちり理解できていれば失敗リスクは高くない。

[tomo_ari]

2020年も終わりそうだし不要なところではブロックストレージ捨てていきたいんだが、それを（データをディスクに書き込むことが前提の）Solrでできるのはすごい

[tgk]

「ダウンロードしたセグメントファイルはtmpfsに書いています」「ブロックストレージは完全に無駄であることに気が付きます。 結局ページキャッシュに乗せなければならないならはじめからtmpfsに書くべきです」

[sho]

じつに面白かった。いい仕事。

[oakbow]

凄さが実感できるほど理解できてないけど、ElasticSerchをフルマネージドで利用するよりSolrで1から立てた方がコスト面でも有利だったんだろうな。規模でかいところではしばしば起こりがちだけど

[dann]

完全に素晴らしい

[otherworld]

参考になる。更新頻度が低く、データ容量の増加も少ないから取れる構成という感じだ。明記はされてないけど、分散インデックスではなくて単一のインデックスで済むから複雑にならずに出来ているという気がする

[damedom]

『検索結果の品質について責任を持っているチーム』こういう、どの領域はこのチームという明確なオーナーシップがあるといいね。大抵の場合曖昧だったりする

[daishi_n]

オンメモリDBはトレンドだけど参照系はRAMディスクに置いて永続ストレージはマスタのみという構成か。mmap()でカーネル空間とユーザー空間のオーバーヘッドなしにダイレクトアクセスするのがミソなんだね。

[tofu-kun]

手順含めて参考になる

[nilab]

人気順検索のSolrはスケールのためにディスクを捨てた - クックパッド開発者ブログ

[yosuke_furukawa]

"tmpfs 上のファイルを mmap(2) すると叶えることができます。" やばい

[shikiarai]

凄いことしてるなぁと思うと同時に利用者からはなんも変わらねえんだよなぁって思うのが辛い。

[castaneai]

“tmpfs はファイルの実体が page cache に存在するファイルシステムであるので、mmap すると tmpfs のファイルの実体がそのままユーザーランドから見えるようになる”

[yutaro1985]

> 古すぎること自体がアップデートをより難しくしている 身につまされますね…。

[kamm]

はてなも見習え・・

[non_117]

mmapのおもしろポイントをさらっと書くの良いですね

[hitode909]

かっこいい “この s3ar を利用すると約 6GB のセグメントファイルのダウンロードは10秒程度で完了します”

[takyam1213]

システムが大規模だと大変よね……

[shogo_okamoto]

Solr4.9→8.6。後半がスマート。

[amagitakayosi]

かっこいい

[side_tana]

カッコいい

[sora_h]

multipart まではわかるとしてその後が賢い！！だった

[y_uuki]

Solrのこの日次トリガーでのレプリケーション、懐かしいな...

[ainame]

s3ar面白い!

[manFromTomorrow]

“tmpfs 上のファイルを mmap(2) ”　そういうことだよな。サイズが思ったより小さかったのも良かったネ。