Pythonでいい感じにバッチを作ってみる - prefectをはじめよう - JX通信社エンジニアブログ

JX通信社シニア・エンジニアで, プロダクトチームのデータ活用とデータサイエンスのあれこれ頑張ってるマン, @shinyorke（しんよーく）です. 最近ハマってるかつ毎朝の日課は「リングフィットアドベンチャー*1で汗を流してからの朝食」です. 35日連続続いています. 話は遡ること今年の7月末になりますが, JX通信社のデータ基盤の紹介&「ETLとかバッチってどのFW/ライブラリ使えばいいのさ🤔」というクエスチョンに応えるため, このようなエントリーを公開しました. tech.jxpress.net このエントリー, 多くの方から反響をいただき執筆してよかったです, 読んでくださった方ありがとうございます！ まだお読みでない方はこのエントリーを読み進める前に流して読んでもらえると良いかも知れません. 上記のエントリーの最後で, 次はprefect編で会いましょう. という挨拶で締めさせ

[msh5_h]

バッチフレームワークというよりETLフレームワーク？Airflow がやるような DAG の管理を Python スクリプト上で書けるのは面白いですね。ユースケースの幅が全く変わってくるので、並列処理できるかは大いに気になるところ👀

[hdampty7]

参考にします。ありがとう。

[forrest-gump]

また新しいバッチフレームワークを知った

[sh19910711]

"色々できるんだけど, それが故に依存しているライブラリとかが多く, 自前でホスティングするときのメンテ効率とかはちょっと考えてしまう"