検索が爆速になるデータベース設計を公開します

こんにちは。エンジニアの谷井です。 フォルシアでは、Spookと呼んでいる技術基盤を用いて、主に旅行業界やMRO業界に対して、膨大で複雑なデータを高速検索できるアプリケーションを提供しています。 今回はその高速検索のノウハウのうち、特にDBの扱いに関連する部分について、ベテランエンジニアへのインタビューを通してそのエッセンスをまとめてみました。 一般的なベストプラクティスだけでなく、検索性能を高めることに特化しためずらしいアプローチもあるので、ぜひご覧ください。 フォルシアにおける検索DBについて まず前提としてフォルシアで扱うデータについて軽く説明します。 扱うデータの複雑さ たとえば、旅行会社向けのアプリケーションであれば、宿泊素材の情報としては ホテルの情報「〇〇ホテル」（~約2万件） プランの情報「朝食付き・ロングステイ△△プラン」（0~1500件/施設） 客室の情報（~100件/

[otherworld]

RDBのみで頑張るスタイルだ。参照用DBに分離したり非正規化までしているのであれば、いわゆる全文検索に限らずともSolrCloudやElasticsearchを使うほうが検索向けの機能も充実しているし、いろいろ簡単になると思う。

[circled]

PostgreSQLもMySQLも基本的に中間一致検索時にインデックスが使われないのでPGroongaやMroonga入れた方が速いよ(ほぼMySQL互換のMariaDBは初めから入ってるよ)。検索をElasticsearchとかに逃がせないなら入れとくと幸せよ？

[cl-gaku]

枯れた手法全部盛りだ

[fashi]

特に驚くようなことは書いてないので「特許取得済み」の中身が気になる

[sionsou]

多分だけど金銭的な問題がないなら検索用にElasticsearch導入したり、集計用にはRedshiftなどのBigQuery系DBも良いし色々使うほうが楽だとは思う。まぁ誰でも扱えるって意味ならRDBでいいとは思うが。

[joker1007]

政治的な理由でRDB以外は使えないという制約がある世界で戦う時には必要な知見だが、現代においては本来やる必要の無い苦労だな……。

[pullphone]

近年のMySQL（Aurora含む）は groonga 入れずとも n-gram 全文検索できます（ドリルダウンとか含めると mroonga とか入れたほうが便利ではあるけど）

[lorenz_sys]

MTTRはどの位見込んでるんだろう？障害復旧はこのやり方だと大変だよと凡庸な業務システム屋でしかない自分は思ってしまう。DB専門家ブコメ諸氏の言うようにポスグレの普通のエンジンで挑む課題じゃないように思える。

[hdampty7]

中途半端に専用化するくらいならRDB使うの止めてDB自作すればよいのではと思ったり。事業が成功して扱うレコード数やカラム数が増えるといつかレンジを外れて途方に暮れそう。

[matarillo]

ElasticSearchやSolrなどを使う場合と使いにくい場合は整理してあると嬉しい

[queeuq]

なんでrdbでやってんのって思ってしまうな。

[dagama]

2019年新卒入社であーねって微笑みで読んだ

[chintaro3]

長期的には技術的負債になるパターンに見える。

[hirokinko]

他の人も言及してるようにElasticsearchやAlgoliaで済みそうに見える内容だけに、なぜRDBでここまで頑張るのか背景を知りたい。

[takezaki]

RDBだけで頑張ってはいけない。

[d6rkaiz]

データ数もたいしたことないし、検索専用テーブルとか久しぶりに見た気がする

[mak_in]

最近だと、RDBに全文検索の機能普通になかったっけ？

[NOV1975]

RDBだけでやらなくても…という人も多いけど、逆にRDBだけでできるのになんで他の混ぜなきゃいけないの、という考え方もあるよね。とは言え、ここに書かれているいくつかはDBMSが勝手にやってくれないものか。

[onesplat]

なんかあんまり大したことしてないな。DB自作くらいしてるのかと思った

[nghrk]

メンテが大変なので、Solr使ったほうがいいと思います

[shields-pikes]

ブコメを含めて多数の知見がまとまっている。

[Soraneko]

RDB縛りプレイ

[dorapon2000]

“サーチテーブルには検索時に参照する情報のみを集約して極力不要なデータは載せないようにすることで、共有バッファに効率よくキャッシュされやすくなります。”

[Futaro99]

こういう感じ懐かしい（読んでない）

[sorshi]

“ファセットカウント”

[kaputte]

ブコメが参考になる

[programmablekinoko]

プログラムと同じで最適化（正規化）すればするほど早くなるわけではないのよな。重複を許してもよいデータならば積極的に重複させていきたい

[akisei67]

ここまで駆使するなら素直に横に全文検索建ててしまいたくなるけど、ビジネス要求でそれができないのかな？

[infobloga]

RDB使う意味あるの？が感想。ブコメも同じ意見が多くて安心した

[Silfith]

淡々とやってきたチューニングメニュー軸だけど、背景が今ひとつ。RDBでどうしても頑張り続けるにしてももっと手はあるし、先が暗すぎる。研修や勉強会のそれであれば……いいが

[miiton]

Vanilla RDBだけでやるとこんだけ大変ていうのがまとまっていて正直助かる。「爆速」って書いてるからには検索レスポンス何ms以下が目標設定されていて、それを達成できているのかどうかとかが気になった。

[Wafer]

検索条件が絞れるなら検索専用テーブルをnoSQLにできるケースもあるやも？

[prograti]

この記事で挙げられている以外だとシャーディングとかパーティショニング、マテリアライズドビューとかもあるかな

[ya--mada]

新卒者の研修ラップアップ的な成果物？