2014/02/12 Docker Meetup in Tokyo #1 での発表内容です。 デモコード: https://github.com/ydnjp/docker-continuous-integration-workflow

はじめに Hudsonを標準状態のままで使用した場合、Hudsonにアクセスできる全てのユーザが、Hudsonの全ての機能を制限なく利用できてしまいます。 Hudsonの機能を熟知しているチーム内でHudsonを使用するのであれば、この標準状態の方が設定に煩わされない分、簡便に運用できるので都合が良いかもしれません。 しかし一般的には、間違った操作によってHudsonが動作しなくなることを防ぐために、「Hudsonの管理者」と「Hudsonの利用者」くらいの最低限の区別をした方が良いのではないかと思います。 そこで、この記事では、Hudsonのユーザーデータベースを使用して、Hudsonの操作権限を制御する方法について説明したいと思います。 なお、説明を簡素化するために、Hudsonの公式サイトにはない用語や分類を用いて説明していますので、その点はご了承ください。 操作権限を制御する前に

弊社ではJenkinsおじいちゃんに日々お世話になっております。隣のチームの @_zoo さんもJenkinsおじいちゃんについての記事を書いておりました。 年の瀬にJenkinsの訃報が届いても、悲嘆にくれないために #vgadvent2013 - massの日記 http://mass.hatenablog.com/entry/2013/12/10/232532 ということで僕的最近のJenkins運用について書きたいと思います。去年の運用と今年の運用を比較していきます。 去年のJenkinsのタスク 以下のことをやっていました。何でも屋ですね。 デプロイ テスト 通知: メール 高度なcrontab 去年ad:tech TokyoでMapReduceジョブのdispatchとmonitoringをしているという発表もさせていただきました。 Jenkinsとhadoopを利用した継続的

なぜかJenkinsを起動させたらパケットロスが多発しまくったのを無理やり直した話 きっかけはこちらの記事。 (Jenkins には Auto-discovering という機能があるそうです。) Jenkins が原因で社内ネットワークが重たくなるという現象が起こっていたため対応することになり、 色々手こずったのでメモを残しておきます。 （※結論だけ知りたい方は下のほうだけ見れば OK です。） Jenkins システムの設定とりあえず、システムの設定画面にはなさそう… PC の設定でブロックするようにできないか試してみることにしました。 パケットフィルターiptablesWindows で Jenkins を動かしているので、iptables は使えない。 netsh routing ipnetsh routing ip add filter ～で、フィルターかけられるという情報を見つ

こんにちは、開発担当の松本です。 前々回、 前回に引き続いて、 今回も Jenkins の便利プラグインをいくつか紹介します。 リストビューの表示内容を拡張する: Extra Columns 名前や上の画像が示すように、リストビューに表示するカラム項目を拡張してくれるプラグインです。 プラグインインストール後に、ビューの変更のカラムに上記画像のような項目が追加されています。項目によっては設定も付いていたりします。 プロジェクト説明や設定へのリンクなど小粋で便利なカラムが多いので入れておくと便利です。 リストビューをグループ化できる: Categorized Jobs View 正規表現を用いたグループによって、リストビューの項目をまとめることができるプラグインです。 カテゴリビューを作成するには、プラグインをインストールした後に、新規ビュー作成ページで「Categorized Jobs V

先日突然会社で使ってる Jenkins が起動しなくなってしまいました。さすがにもう二度とそんな思いはしたくないので、バックアップを取ることにしました。 Backup Plugin - Jenkins - Jenkins Wiki を使ってもいいんですが、git 使えば差分バックアップになるし、好きな時点に戻せて素敵なんじゃないかと思って git を使ってバックアップを取ることにしてみました。 この記事はその時のメモみたいなものです。 リポジトリの作成 まずは git のリポジトリを作ります。せっかくなのでスクリプトコンソールを使ってみます。スクリプトコンソールを開いて、以下を実行します。 dir = System.properties["JENKINS_HOME"] def git = { Object[] cmd -> println new ProcessBuilder(["git"

はじめに Jenkinsのビルド結果をSkypeのグループチャットに通知したいことがあります。Skype プラグインはあるのですが、ググるとインストールが大変でうまく動かないという声がチラホラありました。 とりあえずプラグインだけをインストールして設定を見てみましたが、通知先にユーザーしか選べず、グループチャットに対して通知できなさそうだったので、試していません。 代わりに以下のサイトを参考にさせてもらい、通知を実現しました。 Sending Jenkins build notifications to a Skype chat | Encoded Knowledge SkypeプラグインはJenkinsのスレーブでSkypeを動かす必要がありますが、この方法ではSkypeを動かしているマシンからHTTPでJenkinsにアクセスできるだけで大丈夫です。 1. Skypeを動かす。 以前の

Chefはリポジトリをバージョン管理する仕組みを持っていますが、チームでの協調作業を考えるとバージョン管理システムを使う方が運用しやすいと考えます。本稿では、GitとJenkinsを使ってChefを運用するための1つのパターンを考えます。 以下があることを前提とします。 Chef Server Chef Client Gitリポジトリ Jenkins 基本的な考え方 CookbookをGitリポジトリで管理します。開発者がgit pushすると同時にChef ServerのCookbookが更新されるようにします。これにより、GitリポジトリとChef Serverが同期されるようになります。 また、後続ジョブとして各サーバでChef Clientが実行されるようにします。ビルドパイプラインを組むことで、Staging EnvironmentにおけるChef Client、Producti

環境構築の自動化のツールとして一番注目されているのがChefです。 Recipeと呼ばれるインストールや設定のためのスクリプトを書いておき、それを使って新しいサーバを速攻で作ったり、Chef Serverを使えば複数のサーバ群に対して環境を一定に保つことが可能です。 ChefのRecipeは単なるrubyのスクリプトです。そしてrecipeでよく起こる問題として以下のようなものがあります。 外部サイトからtarballを取得してインストールしているような場合に、配布元の移転や、新バージョンの公開と旧バージョンの配布停止によって、recipeがコケるphpでよく使われるライブラリの配布形態であるpearのチャンネル情報が追加になったりURLが変更になる。インストールすれるパッケージがバージョンアップされ、依存関係が増えたりする。上記のようなことがあるので、recipeを定常的に動作確認してい

@akiko_pusuさんが公開されたJenkinsによる運用事例の資料が素晴らしいのでリンクしておく。 Jenkinsはたった一つのツールに過ぎないが、たくさんの可能性を秘めていると思う。 【皆のつぶやき】 Twitter / 検索 - 20121019-jenkins-akiko_pusu.pdf Twitter / udzura: 凄く心に響きました…… / “20121019-jenkins-akiko_pusu.pdf” http://htn.to/m5MjUJ Jenkinsの元々の目的は、ソースのビルド管理だろう。 だが、「高機能なCron」という隠れた機能がある。 この機能を使って、Unixのパイプラインのように、定型的な処理をバッチ処理のジョブでつなげる。 すると、定期的に決まった日や時間帯に動くバッチ処理になる。 この発想は、日々のバックアップ処理や、サーバー間のデータ

さくらのVPS+Jenkins+github+rails3の続編。 ゴールは、githubにpushすると、さくらのVPSで動いているJenkinsがgithubから最新ソースひっぱってRobolectricのテストかけた上に、apkを作るところまで。 プロジェクトの作成 mavenプロジェクトにしてみた。 ユーザーの作成 以前作ったやつで兼用。 SSH key コレも兼用しようと思ったらダメだった。１リポジトリにつき１keyだそうで。 https://help.github.com/articles/error-key-already-in-use Once a key has been attached to one repo as a deploy key, it cannot be used on another repo. If you're running into this

Jenkinsのログの一部分からメールを送信する方法がよくわからなかったので、メモ。 最初の目標として、実行された一時ファイルの名前を抽出し、メール送信する。 まずはEmail-ext pluginをインストール。 BUILD_LOG_REGEXを利用する。 BUILD_LOG_REGEXはログを正規表現を利用して抽出できる関数。 ${BUILD_LOG_REGEX, regex, linesBefore, linesAfter, maxMatches, showTruncatedLines, substText, escapeHtml, matchedLineHtmlStyle} 使うのは regex: 正規表現 showTruncatedLines: truncateされた列を表示するかどうか。デフォルトOFFにしてほしい・・・ substText: regexで抽出した文字列だけを表

こんにちは、開発担当の松本です。 今回は、Jenkins にたくさんあるプラグインの中からおすすめのプラグインをいくつか紹介します。 ジョブ一覧にアイコンを追加できる: Custom Job Icon 今年8月にリリースされた比較的新しいプラグイン。名前の通りプロジェクトごとにアイコンを登録できて、それがプロジェクト一覧に表示されるようにできます。 利用するには、プラグインインストール後にアイコンを登録する必要があります。 「Jenkins の管理」→「システムの設定」ページに「Custom icons」セクションが追加されていますので、そこでファイルを追加しておきます。追加しても「Refresh icon list」をクリックしないと表示が更新されない点に注意。 なお、画像の拡大縮小あまりきれいに行われないので、アイコンのサイズは 24 x 24 にしておくのがよいみたいです。 アイコン

皆さん bundle update してますか？ぼくは忙しさにかまけてついサボりがちなのですが先日何ヶ月ぶりかにやってみたらけっこういろんな gem がアップデートしててヒヤリとしました。 bundle update 忘れは今後もまたやってしまいそうだと思い、なにかこれを解決する方法がないか考えたところ、 マメにやるのは無理。余裕があればやるけど忙しくなったら忘れる。自分の意識が低くなっても破綻しない仕組みを作るべき 差分が小さくても Pull Request を出すのは悪くない。というか Pull Request は毎日全員が見るし放置されにくい bundle outdated の結果をメールするのもお手軽そうだけど、メールなんてどうせ見ない (pendaxes がいい例で、毎朝メールがきても痛くも痒くもない) ということで「Jenkins に毎週 bundle update したブラン

@akiko_pusuさんのJenkinsの事例を読んで、Jenkinsをジョブ管理ツールとして使うアイデアについて考えたことをラフなメモ書き。 間違っていたらあとで直す。 【元ネタ】 Jenkinsをバッチ監視ツールとして運用する事例: プログラマの思索 2枚の絵でわかるJP1ジョブ管理の仕組み - あしのあしあと Monitoring external jobs - 日本語 - Jenkins Wiki Jenkinsをメトリクス収集ツールとして使うアイデア: プログラマの思索 【1】基幹系業務システムの命は、Cobolで書かれたバッチ処理だ。 Webシステムやクライアントアプリから収集された業務データ、売上データは、夜間にバッチ処理で一括集計されて、日次や月次の商品有高帳、損益計算書、貸借対照表などを出力する。 これらの数値をにらめっこしながら、経営者は日々の経営方針を微修正しながら

通常のプラグインのインストール方法と同様です 「Jenkins SSH plugin」を検索してインストールしたらJenkinsを再起動しましょう Jenkinsのトップから「Jenkinsの管理」「システムの設定」へ ちょうど真ん中辺りに「SSHリモートホスト」が追加されています 「追加」のボタンを押下すると各入力項目が表示されます 必要な情報を入力しましょう ちなみに接続できないと以下のようなエラーが表示されます 上記エラーがでないようにユーザ名やパスワードを設定してあげましょう あとはジョブを作成するとジョブを設定する画面のビルドの項目に新規で 「リモートホストでシェルを実行」が追加されているので、それをビルドとして追加します 先ほど設定した「ユーザ名@ホスト名:ポート番号」がプルダウン上に表示されていると思います シェルスクリプトの欄にコマンドを並べていけば完成です （当たり前です

こんにちは、エンジニアの岡崎(@watermint)です。今回はGREEにおけるJenkins導入1年半のなかでの、反省点とこれから導入する方へのおすすめを紹介します。 GREEでのJenkins(当時はHudson)導入は、最初、岡崎の個人的な導入から始まりました。そこから徐々に利用してもらえるプロジェクトが増えて、いまや開発には欠かせないシステムに成長しました。今回は、この1年半でのJenkins導入の反省点と、これから導入される方へのTIPSをご紹介します。 ジョブの命名規則 Jenkinsに登録されているジョブも100を超えるようになってきた昨今、そろそろてこ入れをしたい問題です。 ジョブは1画面に収まる程度であれば、Jenkinsダッシュボード画面でも難なく目的のジョブを探し出したり、ジョブの状態を確認することが出来るのですが、さすがにジョブを探すためにスクロールをしなければなら

定期実行って、Cronを使ってやるのが一般的ですよね。 エンタープライズシステムだとJP1とか使って管理したりしますが、 それJenkinsで良くない？ というわけで考えて見ました。なんでJenkinsがいいのか。 メリット（cronとの比較）① SVNなどのSCMとの連携が可能 ② メール等のアラートが可能 ③ 実行履歴の確認が容易 デメリット① Jenkinsが落ちたら動かない ただこれはJenkinsの監視やバックアップである程度回避できます。 またJP1 などは大変高価なので、無償で使えるのは嬉しいですね！実際にやってみたまずはSVNに適当なプロジェクトを作って適当なShellスクリプトをコミットしてみます。 SVNはファイル単位でのチェックアウトができないのでGitで管理したほうがいいのかもしれません。 Shellスクリプトは終了コードを明示的に0と書いたほうが良いでしょう。 J