バッチプログラムの運用と監視について検討しよう | メルカリエンジニアリング

こんにちは。メルペイでバックエンドソフトウェアエンジニアをしている id:koemu です。 バッチプログラムのお話、今回は運用・監視についてお話したいと思います。当社はすべての業務が24時間行われていますので、システムがオンラインのときに動作するバッチプログラムについてのみ議論します。 過去の記事はこちらにあります。 運用に備えて バッチプログラムの運用について、「プリモーテム」「実行管理」そして「ログ管理」の3点について述べていきます。 プリモーテム ポストモーテムという言葉を聞いたことがある方はいらっしゃるかと思います。ポストモーテムとは、GoogleのSRE本の15章*1によれば、障害などの失敗を振り返り、今後に活かすプロセスの総称と捉えることができます。 さて、プリモーテム(プリモータム)とは何でしょうか。この言葉は、私が最近読んだThe Manager’s Path*2*3で使

[reachout]

業務系アプリではバッチが死ぬほど走っていて、ジョブネットは複雑怪奇で先行ジョブが二桁あったりする。大体ヤバイのは突き抜けてるやつで後続が起動せずに玉突き事故を起こしてますね。

[anigoka]

ドキッ！バッチだらけの検証大会（ﾎﾟﾛﾘもあるよ！

[beerbeerkun]

開始したかどうかをチェックするバッチを作ればいいし、ついでにチェックするバッチが開始したかどうかをチェックするバッチも作ればいいよ

[koemu]

会社のブログを書きました

[versatile]

バッチってなるべくやりたくないよなぁ。メンテでわすれられやすいし、SPOFだし、深夜バッチとかいってグローバルに展開したらとたんにアウトだし

[z1h4784]

ログのセキュリティホール問題は本当に難しい。ある程度のユーザを特定できる情報がないとデバッグできないことも多い

[yuangao]

事象が起こってるのに、その事象に対応するログが定義されてないというのがとにかく厄介よね。 原因の切り分けができんし。

[ko-gold]

なるほどね。私はクラウド使うようになってからなるべくバッチ処理は避けて常駐プログラムでトリガー起動、こけても途中から継続処理できるように設計するようにしてる。業務が細分化されると選択肢が狭くなりがち

[sh19910711]

"監視の難易度は、難しい順に、開始＞正常終了＞実行時間が突き抜けている＞異常終了 / 異常終了: 異常が発生した際に通知すると明確に定義できる / 通知: チームで捕捉できる + 状況を端的に理解できる内容を送る"

[mapk0y]

解説が丁寧でとても良い

[Itisango]

“プリモーテム”

[shny_wd]

“の”

[progrhyme]

プリモーテムなるほど。大事ですね

[shinagaki]

先日、メルカリのポイントが付かないミスがあったので、メルカリにはお金をプールしたくないと思った

[satosssi]

よくまとまってるなぁ

[azmin]

いい話

[miho-satoh-satomi]

バッチ処理 運用 監視

[yoshikidz]

これ大事。教えてもらった人から継承しておまじないのように捨ててると思うんだー “stderr/stdoutを /dev/null に捨てているのなら、今すぐやめてください”

[testedquality]

ちょうどいま運用設計を始めたのでありがたい。半年後楽になるため参考にさせていただきます。Rundeckはすでに導入決定してるのでこちらも勉強。

[kappa_live]

感じてはいるけど、文字にできていない部分を言語化してくれれてとても助かる。メルカリって単語にポジティブなイメージはないけど中の人はすごいなぁと実感。

[murashit]

このシリーズすごいいいな

[RabbitBit]

「計画していないログは出ない」は、バッチに限らずシステム全般で有効な言葉と思う。

[n314]

異常も正常もとりあえず通知にしてしまいがちだよなあ。とりあえず通知じゃなくて業務上毎日見る画面に最終起動日時を緑と赤で出し分けておくのが手間も少ないかなあとか考えてる。

[amemiyashiro]

運用に乗り切ってから何か不測の事態でバッチがこけた時ほど頭を抱えることもなく

[donchan922]

バッチ設計のtipsがいくつもあって参考になります☺️

[braitom]

バッチプログラムの運用について。実行管理、ログ管理、監視のしかた、通知のしかたなどの検討事項についての考察がまとめられている。

[ueken65]

「開始しなかった」ことの通知はしんどいね

[auient]

骨太

[Guro]

ああ。開始の記録通知ではなくて、「開始されなかった」ことの記録通知ですね。

[iekusup]

プリモーテムか。

[usadamasa]

"まず、「開始」の監視は、最も難しいものです。なぜなら、開始のイベント自体が発生しないと、何も通知は起こらず、誰も気づけないからです。"