巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜 - クックパッド開発者ブログ

トレンド調査ラボの青木峰郎（id:mineroaoki）です。 好きなRubyのメソッドは10年前からString#slice(re, nth)ですが、 最近はRubyよりCoffeeScriptとSQLのほうが書く量が多くて悩んでいます。 今日はわたしが開発している「たべみる」の背後で働いている 巨大バッチの構成について話したいと思います。 たべみるのバッチは約3000行のSQLで構成されており、 処理時間が1日で4時間程度かかる、そこそこの規模のプログラムです。 このバッチ処理プログラムをBricolage（ブリコラージュ）というフレームワークで構造化する手法について説明します。 「たべみる」とは まず最初に、「たべみる」がどういうものなのかごく簡単にお話ししておきましょう。 「たべみる」は企業のみに提供しているB2Bの分析サービスで、 クックパッドのレシピ検索の分析をすることができま

[InoHiro]

数百行コントリビュートしてます 😬

[fujya]

“「運用しやすいバッチ」とは、「失敗したときに簡単に対処できるバッチ」”

[tengo1985]

TDはLuigiユーザらしいけど、クックパッドはちがったんだっけ。感想を聞きたいところ。

[wyukawa]

おお。dry-runいいな。あとジョブ管理を今後どうするかが気になる。この規模で現時点でジョブ管理システム使ってないのも驚きだけど。

[razokulover]

なんつうマッチョな…

[sue445]

これかー #Shibuyarb

[michael26]

ファー！

[lchin]

使おう

[igrep]

“「運用しやすいバッチ」とは、「失敗したときに簡単に対処できるバッチ」”

[joker1007]

今、ちょうどこれの劣化縮小版みたいな仕事してるので、超便利情報だった！

[cauchym]

バッチ処理の実例

[innx_hidenori]

ジョブのあたり攻めてるのに興味

[shimooka]

dry-runいいなぁ

[nakaearth]

ふむふむ

[warufuzaketaichi]

自前実装されたジョブスケジューラ見てみたい気がする。

[p-baleine]

「運用しやすいバッチ」とは、「失敗したときに簡単に対処できるバッチ」

[tomotaka-ito]

参考になります。TreasureDataで解析やらないのはやっぱりRedShiftの方が速いからなんでしょうか。

[sonots]

プロフェッショナル感ある

[takatoshiono]

すごそうなの来た

[michael-unltd]

“代表的なジョブ管理システムとしては、 日立のJP1/AJS3や NRIの千手、 IBMのTivoli Workload Scheduler などが挙げられます。 またOSSのジョブ管理システムとしては、 Hinemos（NTTデータ）、 Rundeck、 Azkaban（LinkedIn）、 Airflow（AirBnB）な

[northlight]

ジョブ管理を自作とか・・・

[iekusup]

ほー。

[tyru]

クックパッド、MySQLのバッチなのか。Hinemosのジョブ管理機能使いたかったみたいな話がある

[tgk]

Redshiftで使えるBatchWalkerみたいなやつ

[daimatz]

とても身に覚えのある話

[takahashim]

bricolage、コード見たら青木プロダクツぽさがあってほっこりした

[lovevoiceryu]

200ジョブなんてゴミみたいなシステムだ。ジョブ管理システムはその中ではJP1が一番いいよ。

[mooz]

ジョブ管理システムのあたりも

[takadayuichi]

ジョブ管理システム機能に期待

[norisu0313]

巨大なバッチを分割して構成する 〜SQLバッチフレームワークBricolage〜

[mrkn]

青木プロダクト

[okei1213]

#slmtech

[toyama0919]

うちでも使えそう