データ分析部が開発・運用するバッチ アプリケーション事情 - Gunosyデータ分析ブログ

はじめに こんにちは、データ分析部の森本です。 この記事ではGunosyデータ分析部がどのような視点に基づいてバッチアプリケーション（以下、バッチ）を開発・運用しているかしているのかを紹介します。 クライアントアプリ開発やAPI開発と比較してバッチ開発のノウハウなどをまとめたWeb記事の数は少なく感じます。 また、言語に関わらずWebフレームワークの数に対して、バッチフレームワークの数も少数です。 このような点を踏まえると一般的には難易度の高くない（ノウハウを必要としない、フレームワークに頼る必要のない）、もしくはニーズがあまりないなどの印象があるのかもしれません。 一方で我々は日々バッチ開発を行い、数多くの地雷を踏んできました。 これらの経験を踏まえてどのような点に気をつけているのかについて共有します。 理想的には多くの方の経験を共有して、建設的な議論に発展するとうれしいです。 はじめに

[sirokuma0304]

マジっぽん！

[dayafterneet]

ほんとスケジューリングはどうしているのか気になる。まさか cron じゃあるまいし。

[shinyorke]

Celeryと相性良いdjangoでバッチ開発とは筋がいいなー素晴らしい airflowもいいぞー

[braitom]

へー面白いな。“バッチフレームワークとしてDjangoを利用しています。”

[somemo]

“（バッチ開発運用Nightとかやりたくなってきた） ”

[mergyi]

バッチにDjang

[syou6162]

cronで回しているのかな

[wyukawa]

バッチフレームワークとジョブ管理ツールは用途が違うと思うけど、スケジューリングはどうやってるんだろ。

[beatinaniwa]

弊社データ分析部バッチ運用方法

[y-abe-hep]

ナルホディウス

[toyama0919]

pdb使いまくってるワタクシ

[peketamin]

“（バッチ開発運用Nightとかやりたくなってきた）” 期待

[s-wool]

これは参考になるやつだ

[dr_paradi]

学びある

[u_tis]

バッチ運用Nightって言葉が見えた