ZooKeeper のレシピとソリューション
このドキュメントでは、ZooKeeper を使って高度な機能を実装する方法を示します。これらの方法はいずれもクライアント側で実装するものなので、ZooKeeper 側では何ら特別なサポートは必要ありません。ZooKeeper コミュニティがこれらの方法をクライアントサイドライブラリに取り込んでくれたら、その利用も簡単になって、標準的な手法として使われる機会も増えるでしょう。 ZooKeeper で最も興味深いことの一つは、ZooKeeper が非同期の通知を使っているにもかかわらず、ユーザー側では ZooKeeper を使って、キューやロックといった同期一貫性プリミティブを構築できることです。このドキュメントを読むとわかるように、それが可能なのは、ZooKeeper が更新に対して全体的な順序を保証しており、この順序を公開するしくみを用意しているからです。 以下で示すさまざまなレシピでは、
cronジョブの多重起動を MySQLの汎用ロック機能で回避する - ブログ - ワルブリックス株式会社
MySQLのロック機能を使って楽に cronジョブの多重実行回避をしようという話 たかがロック、されどロック システムで非同期にキューの処理などを行う場合、cronを使って短い間隔でバッチジョブを起動してキューを処理するという方法がよく取られるが、キューの混み具合によってはバッチジョブにかかる時間が長くなってしまうため、前に実行されたジョブがまだ走っているかどうかチェックして、もし走っている場合は処理を実行せずにそのまま終了するといった制御が必要になる。 たまにこの制御をしていないバッチジョブが溜まりに溜まってシステムをハングさせているのを見かける。 適当な空のファイルを作成してこれを flockするとか、システムコールレベルでアトミックに作成できることになっているオブジェクト（シンボリックリンクなど）を駆使してロックの代わりにするとかといったテクニックが典型的に利用されるが、これらを真面
Perlの排他制御 (flock,open,symlink,mkdir,rename)
ファイル操作の排他制御といえば、以下のものが代表的です。 flockとロックファイル（ディレクトリ）式に大きく分けられます。 ロックファイル（ディレクトリ）を使う open関数 symlink関数 mkdir関数 rename関数 古いロックファイル（ディレクトリ）の削除 シグナルトラップ flockを使う flock関数 読込モード 追加モード 上書き・読み書きモード エラー処理 まとめてロックする タイムアウト ■ロックファイル（ディレクトリ）を使う 基本は単なる使用中の目印です。目印が無いときに入って、自分で目印を作り、操作が終わったときに消して出るだけですね。トイレみたい(^^) で、使用中なら何回かノックします。（せかすな〜） open関数 ファイルオープン関数でファイル作成。 1.ファイルが存在するか。 2.しなければ作成。 と２段階を要するので、その隙に他のプロセスが
Go の Generator を channel と closure で速度比較(または Go でのアトミック処理イディオム) - Block Rockin’ Codes
追記 この記事は元々 Go のイディオムとして、いわゆるジェネレータの実装がどうできるのかを軽い気持ちで書いただけで、速いから「Closure を使いましょう」などと一言も言ってなかったのですが、一方が channel であったため原子性についての言及がいくつかありました。 自分としては、ローカルのちょっとしたツール(shell の代わりくらい) の中で使ってただけなので、並行性には言及するつもりがそもそも無かったのですが、自分もそうした前提を書いていなかったのにも原因があります。 例えばこの記事が「グローバルシーケンス」の実装例として参考にされ Web アプリにでもコピペされて、バグの原因になったりでもしたらマズイので大幅に追記します。 (正直ロックを使った排他制御はあまり得意では無いですが。。) Intro 無限に連番を生成するロジックをジェネレータとして組むときに、 Go の場合は二
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
処理を実行中です
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
