冪等なデータ処理ジョブを書く - クックパッド開発者ブログ

こんにちは、マーケティングサポート事業部データインテリジェンスグループの井上寛之（@inohiro）です。普段はマーケティングに使われるプライベートDMP（データマネジメントプラットフォーム）の開発を行っています。本稿では、その過程で得られた冪等なデータ処理ジョブの書き方に関する工夫を紹介したいと思います。今回は、RDBMS上で SQL によるデータ処理を前提に紹介しますが、この考え方は他の言語や環境におけるデータ処理についても応用できるはずです。 まずクックパッドのDMPと、冪等なジョブについて簡単に説明し、ジョブを冪等にするポイントを挙げます。また、SQL バッチジョブフレームワークである bricolage を使った、冪等なジョブの実装例を示します。 クックパッドのDMPと冪等なジョブ クックパッドのプライベートDMPは、データウェアハウス（社内の巨大な分析用データベースで、クックパ

[InoHiro]

書いた

[hase0510]

冪等性とトランザクションは別の話ですよね。失敗時にロールバックするようにさえしていれば冪等なジョブなのかといえば、全然そんなことはない。まあやりたいことが実現できているならいいんですけれど。

[nabe_jw]

他のDB向けにbricolageをメンテする気はもうないのかな…

[masatomo-m]

冪等性を担保する一つの方法としてトランザクション・ロールバックの概念を使った話。冪等性はデータ設計やビジネスロジック設計の時点である程度考慮しないと実現しにくいケースもあるから上流設計大事だと思う

[turanukimaru]

私は最後に必ずロールバックするSQLを良く書く。ロールバック前に破損したデータをSELECTするSQLを挟んで本番でDryRun。データ移行って本番と同じつもりのテスト環境で成功しても本番で失敗しまくるって何故なんだろうな。

[msykt]

“ジョブ全体が begin transaction; と commit; で囲われているので、仮に集計クエリに問題があり失敗した場合は、元のテーブルは削除されずに残ります。”/ bricolage が drop table 等の DML 発行を管理してるってことかな？

[karikari1255]

自分の思っている冪等性と違った。基本は1.元データを削除や変更しない 2.結果データはInsertではなくmarge ということではないのかな。ロールバックはしてもいいけど必須ではないような