TimeFuzeアーキテクチャ構想 - 処理とデータとタイマーを一体化したデータパイプライン - ゆううきブログ

この記事は第1回ウェブシステムアーキテクチャ(WSA)研究会の予稿です。 cronのようなタイムスケジューラーにより、定期的に実行されるバッチ処理の課題を解決するアーキテクチャを最近考えている。 この記事では、単一のタイムスケジューラによるcronベースの手法に代えて、データに対してタイマーと処理を仕込むことでスケールさせやすい構造にできないか、という提案を試みる。 はじめに Webサービスにおいて、リクエストに対してHTMLのレスポンスを返却する以外のワークロードの多様化が進んでいる。 最近であれば、機械学習による時間周期による大規模なデータ処理が求められることも多い。 その他、月次の課金バッチ処理や、ランキングの定期更新など、一定の時間間隔で任意の処理を実行したいケースは多い。 このような定期的なデータ処理パターンは、SRE本[Bet17]の25.1節「パイプラインのデザインパターンの

[y_uuki]

おもしろデータ処理アーキテクチャ考えた

[matsumoto_r]

適応的にデータの特性からタイマーとデータの粒度を決定できそうで、それができればかなりヤバイ気がした！

[monochromegane]

研究会でも議論したけど、データの関係性をどう表現していくかでこれからもっともっと面白くなりそう。楽しみ

[progrhyme]

レコード単位タイマー付のTriggerシステム。TTLをフックにするのは難しそう

[kithzmky]

Time Fuze アーキテクチャ