スタディサプリ最大のRailsアプリケーションにYJIT+pitchforkを導入してメモリ使用量を劇的に削減するまで - スタディサプリ Product Team Blog

こんにちは。SREのkyontanです。Rubyが大好きなのでRubyの話をします。ちなみにリクルートはRubyKaigi 2024へGold Sponsorとして協賛しています! *1。ぜひ沖縄でお会いしましょう。 これはあるアプリケーションのメモリ消費量を示すグラフなのですが、まさかgemを入れ替えるだけでこんなに嬉しい変化が見られるとは思っていませんでした。今日はそんなgemの話をします。 話は遡って2023年4月のある日、インターネットを眺めていたところ、ShopifyがpitchforkというOSSを公開したという情報が目に留まりました。 調べてみると、どうやら著名なRackサーバー実装の1つであるunicornの派生版であり、メモリ使用量の削減に特化しているらしいのです。 github.com これはスタディサプリ小中高のあのリソースドカ食いマイクロサービス第一位である api

[Falky]

『松本で行われたRubyKaigi 2023に参加した際にはAfter Partyでbyroot氏とも対面で会話』『その後pitchforkのissueで「松本で会ったのを覚えています!」と言われて嬉しかったです』これは嬉しいだろうなあｗ

[mizdra]

“ある程度リクエストを処理したworkerを次世代のworkerの親にする” おもしろい。

[KoshianX]

お、Shopify が unicorn 派生作ってたのか。Rails 周りはやっぱこういうのいろいろあって強いよなあ

[nicht-sein]

reforking、なるほど賢い。メモリ利用量やらCPU利用率がこれだけ下がるのは大きいなー

[uokada]

“この課題に対し、pitchforkはreforkingという大胆なテクニックを導入することで解決しています。”

[maid_h]

pitchforkは勇気いるけどまず趣味プロジェクトで使ってみるのは良さそう。YJITはもう簡単に有効化できるし、なんならRailsのInitializerに入ってるから導入はもはや簡単を通り越してデフォルトになってる。

[ohbarye]

reforkの利用はメモリ使用量とレイテンシのトレードオフになる認識だったので "reforkを無限に繰り返してもメモリ使用量の削減にはあまり意味がない" "計6000リクエストほど処理した段階でreforkを止めるように設定"に唸った

[wtatsuru]

reforking 元のプロセスをある程度太らせとくって面白い考え方だ

[bopperjp]

メモリ消費量を大幅に減らせる unicorn 派生Rackサーバ pitchfork の使い方

[takahashim]

なかなか手がかかってそうだけど、メモリ消費量が6割近く減るならうれしい人にはうれしそう

[halfrack]

面白かった / reforking なるほど

[iga_k]

Shopify製のアプリケーションサーバpitchforkの本番運用レポート。参考になる。とはいえpumaから乗り換えるメリットまではないのではないかと予想。

[hoppie]

"全てのRailsアプリケーションで利用しているmongomapper gem が thread-safe でないという課題があり、長年に渡りunicornを使い続けていました。"

[YassLab]

"松本で行われたRubyKaigi 2023に参加した際にはAfter Partyでbyroot氏とも対面で会話し、多分そのワークロードだとうまく動くと思う、みたいな会話 / 先は長そうだ……と思いつつpitchforkにissueを立ててみると、なんと40分で解決"