データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

こんにちは、id:shallow1729です。最近はインフラ寄りなお仕事をよくやっていますがこれまでにいくつかデータ移行やデータ基盤構築などのバッチ処理のお仕事をしてきました。以前にも一度そういった経験を元に記事を書いたのですが、MySQLやシステムに関する知識が以前よりも増えた今もう一度書き直したいなと思いました。 なので今回はバッチ処理を書く時のテクニック2022版という感じです。今の仕事の関係でMySQLやrailsを前提にしている話が多いですが、おそらく他のデータベースを使っている人にも役に立つ話が多いのではないかと思います。ただ、今回の記事は経験に基づくものが多く、あまりよくないアイデアもあるかもしれません。改善点や間違いなどあればご指摘ください。 冪等性を持つように 冪等性とは端的に言えばある操作を複数回実行しても一回しか実行しなかった時と同じ結果になる性質の事です。長時間かか

[shallow1729]

バッチ処理を書く時に気をつけてる事をまとめてみました。普段のウェブ開発とはちょっと毛色が違うタスクで実装に悩むこともあると思うのでそういう時に参考になれば嬉しいです。[バッチ処理][開発テクニック][MySQL]

[roshi]

システム日付を使わずパラメーターなどで渡して任意の時点で実行できるようにして欲しい。

[circled]

関係ないけど、実行中にスクリプト書き換えたせいで、一気に全データ消去に動き出したみたいな話があったね。

[remonoil]

バッチってむしろイレギュラーだらけで、業務的な判断で手動実行したり、リスク覚悟で尋常ではない量を実行したり、何の知識も無い人が実行したり、とかあるのでそれ考慮したい

[aike]

現代的でもっともな主張ではあるけど、もともとバッチは巨大なデータを何時間もかけて処理するような分野で使われてきた経緯があって、冪等性があっても時間的に営業開始までに実行し直せないという状況が多かった。

[moromoro]

何十行ものSQLも避けるようにしてくんろ…障害時に読み解くのでものすんごい時間かかる

[chikurou]

バッチのSQLといえば数千行がデフォでした（遠い目）

[taruhachi]

出来るだけ処理を分割してそれぞれは単機能のバッチにするようにしてる。更新対象のデータ抽出バッチと更新バッチを分けて対象のリストはファイルにして検証可能にしておくなど。

[yamadashy]

大事

[versatile]

速度を調整できるようにしたいね。rsync みたいに

[tkzwtks]

良い。バッチサイズのコントロールは忘れがちだけど結構重要

[forrest-gump]

バッチ処理問わず重要な考え方。冪等性（べきとうせい）。数学かエンジニアやってないと使わない漢字。記事もあるけど、オートインクリメントとかあるから冪等にするには頭を使う。

[rgfx]

あるある

[yarumato]

“MySQL。冪等性を持つように（複数回実行しても同じ結果になる）：こけたらもう一回実行できるように作る。途中からの再実行をできるように：処理をこまめにセーブする、まだ処理がされていない箇所を把握できる。”

[n_231]

ユーザー影響を減らすためには、なるべく使われていない時間帯を狙いたい

[quabbin]

基本が書かれている。私はコレに加え、id:roshi さんの言うような「back fill」の事を考えて設計実装するようにしている。

[nilab]

データ変更を伴うバッチ処理を書く時に考慮していること - shallowな暮らし

[lbtmplz]

冪等性〜

[kagehiens]

ActiveRecordでバッチ的処理が実行されるとかもあるのか、知らんかった。／わかりみが深いメッセージがチラホラ入っててすこしだけ涙が・・・。

[magnoliak]

良い言語化だ、バッチ、上手くいかない時のことをどれだけ考えられるかだけど、秘伝のタレになりがち

[hdampty7]

バッチ周りはビジネスロジック自体は結構単純なんだけど、データ量、トランザクション、制限時間等によって難易度が全然違う。

[northlight]

こういうバッチノウハウ表に出ないからほんと良い。

[cocoasynn]

良い

[do_su_0805]

最高な記事だ…そういう機会に当たるたびにちゃんと読み直したい…