第10回 ジョブキューで後回し大作戦―TheSchwartz、Qudo、Q4M（2） | gihyo.jp
Qudo―もう一つのTheSchwartz TheSchwartzは実績豊富なプログラムですが、拡張性に欠けるところがあります。そこで筆者は拡張性に重点を置いたジョブキューのしくみを作成しました。それがQudo（クドー）です。 QudoはTheSchwartzにはないフックポイントとプラグイン機構を提供しています。フック機能を使えば、ジョブデータをデータベースに登録する際に使用するシリアライザなどを自由に選択できます。 TheSchwartzではシリアライザはStorable以外は利用できませんでしたが、QudoではJSON（JavaScript Object Notation）やData::MessagePackを使ってジョブデータをシリアライズできます。Storableでシリアライズされたデータはデータベースの中身を直接覗いても読めませんが、JSONでシリアライズすればデータベースを直
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
codereposにTheSchwartzのプラグインをコミットしました - masartz->log(type=>'hatenablog')
http://coderepos.org/share/browser/lang/perl/TheSchwartz-Worker-Plugin-Log http://coderepos.org/share/browser/lang/perl/TheSchwartz-Worker-Plugin-Manager ◎TheSchwartz-Worker-Plugin-Log 実際に案件で使った際のログ仕様をほぼそのまま載せてしまっているのですが、 - pathとfileを指定して、任意のディレクトリにログファイルを吐く - 日付でローテーションされる 週ごとにログに吐きたいとか、そもそもＤＢに保存したいとかいう 要望には全く応えられない程度のシロモノです。 なので、今後の修正もその辺を念頭に考えてます。 ◎TheSchwartz-Worker-Plugin-Manager とりあえず名前訂正します
TheSchwartzのER図 - とほほのN88-BASIC日記
暇なわけじゃないんだからねっ！ MySQL Workbenchを使ってみたかっただけ。 無償版だとちょっときついですね。
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
TheSchwartz で時間が掛かる job を実行するときは grab_for に注意 - 酒日記 はてな支店
TheSchwartz の worker で、一つの job が worker->grab_for (default 3600) 秒以上掛かる処理をすると、処理中の job を他の worker が掴んでしまう。 具体的には大量のメール送信をしていたんだけど、Data::Valve でスロットリングしてゆっくり送っていたら 1時間以上掛かって、別の worker も同じ job を実行してしまった。結果、同じメールが 2通ずつ出た orz grab_for は job を処理しはじめた worker が、失敗を報告もできないでクラッシュした場合に、別の worker が処理できるようにするもの。しかし送信してしまったメールは取り消せないからな…… package MyWorker; use base qw/ TheSchwartz::Worker /; sub grab_for { 60
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
TheSchwartzを使ってみた - libnitsuji.so
TheSchwartzについては以下がわかりやすい。 TheSchwartzは非同期かつ分散した環境で各種ジョブを処理させるという枠組みを再実装して利用しやすくしたもので，MySQL（SQLiteもサポート）上のデータベースにジョブを格納し，各ワーカープールで処理を行って結果を返す，という単純なフレームワークです。 第11回 OSCON 2007レポート みんなが注目している技術は？：サンフランシスコで昼食を｜gihyo.jp … 技術評論社 あとは以下のスライドでもっと詳しく知ることができる（71ページから） http://www.danga.com/words/2007_04_linuxfest_nw/linuxfest.pdf gearmanというジョブキューとTheSchwartzとの違いは以下のエントリがわかりやすい。 http://d.hatena.ne.jp/tokuhiro
hide-k.net#blog: Catalyst::Model::AdaptorでTheSchwartzをModel化
今さらTheSchwartzを使い始めました。 で、jobの状態を監視するWebインターフェースをCatalystで作ることになったのですが、いちいちTheSchwartzのインスタンスを作るのが面倒くさい。 でもそのためにModel作るのもアホらしい。 で、Catalyst::Model::Adaptorを使ってMyApp::Model::TheSchwartzを作ってモデルとして使うのをやってみたのでメモ。 HelperスクリプトでMyApp::Model::TheSchwartzを作成 script/myapp_create.pl model TheSchwartz Adaptor TheSchwartz 出来上がったMyApp::Model::TheSchwartzを変更 package MyApp::Model::TheSchwartz; use strict; use w
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
bayashi.jp
TheSchwartz::Test - Hatena::Diary::Neko::kak 500 Internal Server Error