バッチ処理 プラクティス

バッチ処理は既に先人の方々が多くのナレッジを公開してくれていますが、それでもなお難しさが変わらないテーマだと思っています。 この記事は、筆者がこれまでの開発経験で気づいたバッチ処理の実装ナレッジを整理し、体系化を目指して文章にしました。 ここでの内容が、より良い課題解決に貢献できれば幸いです。 自身の断片的な思考整理(メモ書き)の延長で内容を整理したため、一部書き振りが統一されておらず、読みにくいかもしれません。ご了承ください。🙏 バッチ処理の難しさバッチ処理は難しい。 人によっては簡単なテーマかもしれませんが、自分は難しいテーマだと思っています。 「難しさの根源は何か？」を考えると、1. 考慮点が多様にあること 2. 解決する課題によって答えが大きく変わること に整理できました。 この2点は、どのソフトウェア開発にも当てはまる項目ではありますが、ことバッチ処理においては顕著に現れます。

[auto_chan]

（特に途中で）コケたときの復旧がスッキリ回るかが腕の見せ所。正常系のパフォーマンス最強でも、障害設計がぐだぐだで毎回手作業で原因を特定してデータをパッチして再開用の特別データをこしらえて…とか怖ｯ

[n314]

自分のシステムの集計とかなら楽なんだけど、大抵外部api連携とか決済とかメール送信とかが絡むんだよなあ…。ロールバックや冪等性は諦めていることが多い。

[fukken]

「極力バッチ処理をなくす」がしばしば正解だったりするやつ

[yo4raw]

バッチ処理がないシステムだと「バッチにせず実現するには」という発想になり健全だけど、やむを得ない理由で一つでもバッチ処理をつくると、とたんにバッチ処理に逃げがち。

[circled]

この辺のコードを書きたい時、Laravelとか初めから殆どの内容が一通り準備されてたりすんのよね → https://laravel.com/docs/9.x/queues

[hiby]

>常に0からリトライできる構造が理想です　うむ

[eos2323]

90年代からのバッチがずーっと動いてて誰もメンテしていないのでそれはそれでいいのかってなる

[dominion525]

こういうの、いままでうまく伝えるのに失敗してきたから反省が多くて辛いし、まとめられる人は立派だなあと思うなど。

[versatile]

集計系日時バッチとかがなぁ。ある日失敗してたのをあとで気づいて、日付指定で再実行するとちゃんとその日から今日までの全部が再計算されるような仕組みつくってたけど、まぁ、めちゃくちゃめんどいね

[for-my-internet-demo]

未だに反省点が多い

[diveintounlimit]

わかりすぎて首がもげる

[propel]

“処理で解決したいことは何か、なぜ解決したいのか (Why) インプットとアウトプットは何か (What) どれくらいの量のデータを扱うのか (How much) いつ実行したいのか、いつまでに完了したいのか (When) 前提条件、実行時制約、

[nilab]

処理件数,処理時間,回復性,冪等性,整合性,可観測性,論理設計,トリガー,インターフェース,エラーハンドリング,リトライ,ロールバック,バックアップ,ログ,監視/通知/報告,パフォーマンス,ドキュメント

[strawberryhunter]

1つの処理やSQLを複雑にしない。元に戻せない外部連携やメール送信などは可能なら分離する。中間テーブルは避けがちだけど単純化のために作って良い。・・・あたりが近年学んだことだな。

[Derabon]

考えること多くあるよね。良きまとめ。

[gambol]

弊プロジェクト…（目を反らす

[izoc]

バッチ連携は全廃が基本。無駄に複雑になるだけだし。ネットワークもサーバーも性能やコストが昔とは全然違う。世のバッチジョブの殆どは予算や惰性やしがらみが原因で残ってるだけでバッチ処理である必要はない

[clubman023]

うむ

[Eiichiro]

なるべくバッチ化しないは、わかるなぁ。でも、コールバック地獄になるぐらいなら、バッチ化する。 あと多段バッヂは、基本的に組まないようにしてる。どこまで進んだかわからなくなるしね。

[khtno73]

冪等性の単語で通じない人とバッチの話したくないので新人には必ず教える

[osanaki]

“冪等性”

[aike]

本文にもあるけどバッチ処理は時間短縮が命。数時間かかるバッチ処理はたとえ冪等性があっても再実行できないことも。かつて汎用機の頃はいかに不正データを迅速に検知し再実行にそなえて処理を中断するかが肝だった

[pmint]

面白い。「疑似科学読本」とでも呼べそうな新ジャンルにできそう。入社試験問題にも使える。"妥当な選択肢が浮かばない場合、どうするのか"を受けて「妥当性の高い選択肢を挙げます」は天才がやりがちな回答やな。

[perl-o-pal]

←理想 現実→

[moromoro]

オンプレバッチとaws batchはだいぶ雰囲気ちがうのでプラットフォームも踏まえないとね

[arakash]

バッチ処理の考慮点が網羅されてそう

[roshi]

一通り検討項目が網羅されててよかった。

[send]

よくまとまってると思う

[inose660]

冪等性は失敗したら最初からやり直す設計にすれば簡単だけど、件数が大量過ぎて最初から再実行すると時限までに終わらない時は悩む。ロールバックが効くRDBと効かないファイルとの両方を更新する処理だと更に難しい。

[remonoil]

手動で特定のデータだけリトライしたいとかが困る