JOB管理をJenkinsからKuroko2へ移行しました - LCL Engineers' Blog
弊社では最近、JOB管理をJenkinsからKuroko2へ移行しました。 Kuroko2についての概要や導入方法は、以下の記事などが詳しいため割愛させて頂き、弊社での具体的な導入内容について紹介したいと思います。 https://github.com/cookpad/kuroko2 http://dev.classmethod.jp/server-side/kuroko2/ https://blog.mwed.info/posts/kuroko2-mwed-2016-10.html 導入の背景 元々、数百ほどあるバッチ処理をJenkinsで運用していました。Jenkinsから、各JOBサーバにsshして、JOBを起動するという単純な構成で運用していたため、下記の課題がありました。 一つのホスト上で同時に起動されるJOB数を厳密に制御できず、CPU/メモリのリソースを逼迫してしまう 夜間だ
Job管理をAirflowからKuroko2に乗り換えたら幸せになった - hatappi.blog
Speeeアドベントカレンダー 2日目の記事です。 前日の記事は@hiragramのTravisCIでiOSの依存ライブラリの更新を自動化する - TECHNICA Speee engineer blog エンジニアの@hatappiです。 前年度のアドベントカレンダーでこんな記事書いてました。 hatappi.hatenablog.com 要するに定期処理をうまいこと実現したい！そのためにAirflowを使ってはどうかっていう記事です ※ Airflowはデータパイプラインのスケジュールとかモニタリングできるツールです。簡単にいうとジョブ管理ができるシステム Airflowを使うと 定期実行したい 成功、失敗において通知したい 画面上から再実行したい logを画面からおいたい といった定期処理でやりたいことを実現できるので、あれから実際に会社でも導入して 現在稼働しておりディレクターの方
kuroko2の近況とクックパッドのバッチ周りの概況
マイクロサービス宣言から8年 振り返りとこれから / Eight Years After the Microservices Declaration A Look Back and A Look Ahead
Ruby on Rails 製ジョブスケジューラー Kuroko2 のインストール方法と紹介 | tracpath:Works
Ruby on Rails 製ジョブスケジューラー Kuroko2 のインストール方法と紹介 By tracpath • 2017-10-02 • Development, DevOps Kuroko2の紹介 Kuroko2はウェブベースのジョブスケジューラーでありワークフローエンジンです。Ruby on Railsで開発されています。オープンソースで提供されており、ライセンスはMITです。クックパッド社が開発を行っています。 Kuroko2の主な機能と特徴 主要な機能を列挙します。 ジョブ編集と操作 ジョブスケジューラー（cron形式利用可) ジョブ実行履歴の管理 ジョブ実行状況タイムライン Google認証機能 ワークフロー制御機能 カスタムタスク 通知機能 Kuroko2はRubyでカスタムタスクを記述できます。また、ジョブが失敗した場合に次のジョブの実行をしない等のフェイルセーフな
OSSのジョブ管理システム Kuroko2を使ってみた | DevelopersIO
私の所属するプロジェクトで、OSSのジョブ管理ツールKuroko2を導入しました。 簡単にKuroko2の特徴、設定手順をご紹介します。 導入の経緯 プロジェクトが始まった時、一定間隔で起動する小さなジョブが一つか二つあるだけなのでcronで動かしていました。 ですが、リリースから時間が経ちサービスが成長するにつれ次第にジョブも増えていきました。 「こっちのDBから1日1回データを同期して画面に反映して欲しいです！」 「FTP接続してこっちのファイル取得してほしいんだけど...」 「対象のデータがあったらS3にJSON書き出してくれない？」 その場しのぎで次々にcron起動のジョブを増やしていったところ、ある日 崩壊した... (青：使用可能メモリ、緑：使用済みメモリ) ジョブ管理システム Kuroko2の導入 自前でジョブ管理システムを構築することも検討しましたが、時間がないことやすでに
OSS になった Kuroko2 をどこよりも早く導入したので紹介したいブログ — みんなのウェディングエンジニアリングブログ
こんにちは、技術部開発基盤グループの小室 (id:hogelog) です。 みんなのウェディングは OSS となった Kuroko2 を早速導入したので、その Kuroko2 の導入方法をブログにて共有します。 何故 Kuroko2 を導入したか みんなのウェディングではジョブ管理ツールとして主に Rundeck を利用していました。汎用のジョブ管理ツールとして開発されている Rundeck は非常に多機能で様々な処理を柔軟に実行できます。雑多なバッチ処理が稼働していたみんなのウェディングのシステムを一つのジョブ管理ツールに集約させるには非常に便利なものでした。 しかし運用を続けるうちにいくつかの難点が見つかってきました。 スケジュール実行がいきなり過去のジョブ定義に巻き戻る（ことが稀にある） https://github.com/rundeck/rundeck/issues/1447 M
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
kuroko2のデプロイスクリプトから - by shigemk2
Cookpad TechKitchen #8: Breaking BatchJobs Beautifully