レシピ検索を支えるレガシーでクリティカルな大規模バッチを刷新した話 - クックパッド開発者ブログ

こんにちは、会員事業部の新井です。余暇を全て Auto Chess に喰われています。 過去このブログにはサービス開発に関する記事*1を投稿させていただいているのですが、今回はシステム改修についての記事になります。 クックパッドには検索バッチと呼ばれる大規模なバッチが存在するのですが、今回それを刷新することに成功しました。 そこでこの記事では旧システムに存在していた問題点、新システムの特徴や実際の開発について述べたいと思います。 背景 クックパッドのレシピ検索では Apache Solr を検索サーバーとした全文検索を利用しています。古くは Tritonn を利用して MySQL に作られた専用 table を対象に全文検索を実行していたようですが、その頃から「検索バッチ」と呼ばれるバッチが存在していました。 このバッチは、簡単に言うと「検索インデックス」と呼ばれる検索用メタデータを生成す

[saiid]

"*3:Solr にデータを撃ち込む → ソーラービーム → フシギバナ"

[HolyGrail]

“こんにちは、会員事業部の新井です。余暇を全て Auto Chess に喰われています。”

[mapyo]

“Solr にデータを撃ち込む → ソーラービーム → フシギバナ” これが最高でした。

[rlho]

“ Auto Chess”

[marin72_com]

同期のいい話

[t_f_m]

あとで

[sho]

めっちゃ慎重ですごい。キラキラネームと思いきや一定の意図があるのは関連付けて記憶できるので良いw

[ainame]

良い話。

[jmatsu]

ネーミングセンスよ "fushigibana"

[koba789]

Rails である必然性がないバッチジョブを plain Ruby で書き直して分離した話(DWH を活用してデータフローもまともにしている)

[mactkg]

盛りだくさん。検索用インデックスの作成バッチをRailsから普通のRubyに書き換え。ARオブジェクトの生成なくなり動作時間半減。RedShiftをソースに動作する。検証作業の部分、具体的にどう評価やったのか気になる。