バッチ処理について考える - Qiita

TL;DR ひとくちにバッチといっても色々ある 夜間バッチをもう作るな オンラインバッチはSQL以前にDB設計がんばれ はじめに Twitterのタイムラインで以下のようなツイートが回ってきました。 バッチ処理をみんな舐めてかかったり、ショボイとか思ってる人多い印象なんだけれども、数十万～数千万件規模のデータを処理したことあるのかな。テンプレ通りのコードじゃ動かないよ？ネットに本にも答え載ってないよ？低レイヤも意識しないと動かないよ？ 2020年1月10日 ツイートされたわだっしーさんの意図がどこにあるかは確認してないですが、極限の世界でテンプレート的な処理では対応出来ないのはあるよな、と思いつつもある程度はバッチの作法としての書き方があると思っています。 このツイートとその関連ツイートを読みながら、そういえばバッチ処理に関して書いてある記事はあまり見ないなぁ、とおもったので他のネットや本

[prozorec]

「エンプラ」をエンタープライズのつもりで使っているのだろうが、通常はエンジニアリングプラスチックじゃないのか？

[kura-2]

もうこれでバッチリってやつか

[t10471]

良さそうな記事なのに、システム構成前提がバラバラだったり、バッドノウハウっぽいのも入っていて残念

[inose660]

ファイルのハンドリングもキモだよなぁ。外部システム間連携は未だにどうしてもファイルに頼ってしまうし。

[roshi]

「アベンド」久しぶりに聞いた。ジョブ管理周りと合わせてなかなかノウハウが出てこない分野の印象。

[GARAPON]

夜間バッチがメインなのはリソース量よりそもそもの業務設計によるものが多い。なのでこれをディレードに組み替えていくには業務設計から見直す必要ありって所が難しさとしてある

[n_231]

オンライン、オフラインはどっかの企業の方言だろ。後半の話の前提がよく分からん。クラウド化後でもスポットインスタンスで費用削減、とか考え始めるとここで言うオフライン夜間バッチと似たものを作ることになる

[ika2434]

IT屋だとエンタープライズの意味でエンプラとよく使いますね。むしろITの話してるのにエンジニアリングプラスチックとはならんでしょう…

[odakaho]

OLTPのことを言ってるのかな？どこの会社の方言だろ。 “オンラインバッチ”

[eerga]

如何でしたでしょうか？ダメかな

[lilpacy]

マイクロバッチは初めて聞きました

[northlight]

バッチ記事は貴重

[golden_eggg]

面白かった。夜間バッチの話は「外部連携があり」「連携先のサービスやデータ提供時間帯に業務が影響される」ケースに於いてはあてはまりづらいかも。主に金融系や決済系

[koemu]

他の人の解説は参考になる。ストアド使うところは業務系でOracle使ってた人かなと想像した。オンライン・オフラインの理解は僕と違った。夜間システムをオフラインにしてバッチを回す、そういう理解。

[y_maeyama]

100万レコードをDB登録する場合、10ミリ秒/レコードでインサートしても、インサートだけで2.8時間くらいかかる（計算あっている？）。昨今のデータ量増大を鑑みるに、夜間バッチ中に夜が明けることもあるわな。

[krrrr]

よき

[tito1201]

よかった

[masashichan]

用語なんて自分の理解できる言葉に変換して読みゃあいいだけ。それでもちんぷんかんぷんなのであればnot for youな記事ってこと。個人的にはうんうんって感じ

[Dryad]

言葉遣いが独特、なのではなく、Web屋が井の中の蛙なんだと思うよ。

[diveintounlimit]

何かまとまってそうなのにしっくり来ないのはなんでだろう…

[rti7743]

要件によるだろう。夜間バッチで十分なものを小分けにする必用はないし、小分けにしないといけないものを夜間バッチにはできん。バッチで大切なのは、テスト環境の整備だろう。dryrunできない設計のバッチは怖い。

[replication]

これはすごい

[mullen]

とりあえず頭の中にある、書きたいこと書いたって感じですね

[stp7]

“如何でしたでしょうか？” ダメです

[pavlocat]

経験豊富な技術者の体系的なサマリ、という感じで色々学びがある

[letitride]

複数行更新する時のデッドロックやスレッドセーフについても注意したいところ

[Soraneko]

Twitter芸人の言及をQiita芸人が拾った結果

[turanukimaru]

オフラインのが良い典型例として「チケット買った会員とかにメールを送る」とかある。昔は宛名印刷用にファイル出力してた。数万メール送るのにInsertは向かないので小細工してミスって多重送信する事件が後を絶たない

[Keisuke69]

“オンラインバッチはSQLなどを使用してRDBに直接読み書きをします。” あれ、オンラインバッチってそういう定義？これって一般的？そもそもオンラインバッチという用語に昔から違和感を感じてるけどそれは置いておこ

[iekusup]

ほー。

[kkobayashi]

バッチ奥が深い

[new3]

"エンプラ系でバッチと聞くと思い浮かべるのはこれでしょう"?????って思ってブコメ確認したらそういうことか。なお続きは読んでいない。