66分かかる同期処理を10分以内に短縮せよ！～商品情報同期システムでの、処理速度と運用の改善～ - MonotaRO Tech Blog

はじめに この記事では、モノタロウの基幹系を構成するシステムの一つである、商品情報管理システム（PIM：Product Information Management システム）の導入プロジェクトで、商品情報を基幹系と同期するシステム（商品情報同期機能）の性能や運用環境の改善を行った話をご紹介します。 背景 モノタロウの基幹系は、長年内製のシステムで支えられてきました。基幹系のシステムは、少数のWebアプリケーションと多数のバッチから構成されています。中でも商品情報の管理に関するシステムは、在庫や仕入先に関するシステムと一体化していて、商品情報に関する数多くのマスタメンテナンス画面を備えたやや複雑なシステムです（図１）。 図1 基幹系の概略図 当社のシステムは、もともと自分たちのビジネスに必要な機能を提供する手頃なパッケージ製品がなかったため、すべてを内製でまかなってきたという経緯があります

[NOV1975]

「 「実行時間が積み上げでせいぜい数秒のロジックの処理時間を50％削減する」よりも、「実行時間が数分にわたるロジックの処理時間を10%削減する」ほうがずっと削り代があります」これわかってるだけで大分違うよな

[napsucks]

コードリファクタリングはエンジニア冥利に尽きるよな。とはいえ経営層からは「これまでクソコード書いてリソース無駄にしてたくせに威張るな」的な扱いを受けがちなのが悲しいところだけど。

[rgfx]

「I/O待ちが多い場合では、オーバーコミット気味に並列化を行ったほうがワーカーを効率的につかえます」わかる

[remonoil]

CPUパンパンになるまで数十並列詰め込めるのに、遠慮してコア数と同じ並列数にしてしまうのありがち

[dogusare]

こういう恒久的ではない移行についても工夫・知恵を絞って効果を出すってなかなか評価の仕方が難しいだろうけど、当人的に、体感できたらめっちゃ気持ちぃいだとなぁと羨ましく思う。

[chintaro3]

　MONOTAROはいつも使っているので気になる。根本的にハードの再検討が必要なレベルに見えるけど、今はハードはモノが入らないんだっけか。

[khei-fuji]

こういうチャレンジ楽しそう

[a96neko]

見てる

[Guro]

よい。内製化だとジャストボトルネックを解消できるよな。

[lorenz_sys]

ちゃんと読んでないけど"木構造をした商品情報を再帰的に探索"ってあたり設計としては分かるんだけど木をそのまま実装するとこういう問題が顕在化するので木以外で実装する方がベター。"線形に探索"がより良い実装。

[havanap]

ためになる

[natu3kan]

ハードの仕様を理解すれば、もっとガシガシ並列化して負荷かけていいとか分かって効率的にできるか。

[tasukuchan]

“となり”

[t-nakamw]

PM試験のネタに使える？

[miki3k]

困った事の改善の実例

[turanukimaru]

大量のデータを順番に insert | update すると滅茶苦茶時間かかるんだよな… PC 側も DB 側も。バッチ処理に時間がかかるのは我慢できるお客さんが多かったからDBの並行処理とかの経験はさっぱりだわ。PC側並列はやってるけど

[kkobayashi]

丁寧に解説してあって参考になるな