GitHubからJenkinsとTerraformを使って仮想マシンをデプロイしてみた | IIJ Engineers Blog
2019年新卒入社。基盤エンジニアリング本部兼クラウド本部所属のKubernetes大好きエンジニア。自宅ラックマウントサーバ勢。休日はコスプレしたり、バイクに乗ったり、絵を描いたり、サーバメンテしたり、激渋旅館を巡ったりしてます。 【IIJ 2021 TECHアドベントカレンダー 12/18（土）の記事です】 あいさつ こんにちは、IIJの韮塚(にらづか)です。 私は基盤エンジニアリング本部 基盤技術部に所属しており、普段は「サービス基盤運用の自動化」や「社内GitHubやCI/CDツールの管理人」を行っています。 みなさん、仮想マシン(以下VM)払い出しの自動化は進んでいますか？ VM払い出しにESXiのGUIにアクセスして、リソース払い出しを行っていませんか？ 某クラウドベンダーのようにESXiに直接アクセスせずとも、必要な項目をポチポチ選択するだけでVMが払い出される理想の世界を作
Jenkins XによるPreview環境構築
本記事は リクルートライフスタイル Advent Calendar 2019 3日目の記事です。 じゃらんnetを担当している永井です。 最近、案件ごとに独立して動作確認できる環境を作りたくて、Jenkins Xを検証していました。 Jenkins Xはまだ情報が少なく、一筋縄では行かなかったので本記事ではその構築過程をご紹介します。 Jenkins Xは、Git/Docker/Kubernetesの利用を前提として構築・運用を可能な限り自動化してくれるCI/CDソリューションです。 jx create clusterと叩けばGKEやEKSなどに標準的なKubernetesクラスタを作成してくれ、 jx installと叩けば対象のKubernetesクラスタにJenkins XをインストールしてGitHubにwebhookまで作成してくれます。 Webコンソール画面は基本必要なくなり、j
先日公開した「UIテストの自動化！Node.jsとSeleniumでWebアプリのUIテスト環境構築」では、手動で行っていたWebアプリのUIテストをSeleniumを使って自動化する手法についてご説明しました。 SeleniumでUIテストを自動化することにより、リグレッションテスト（改修により既存機能への影響がないかを確認する回帰テスト）が簡単にでき、バグの早期発見に繋げることができますが、実際にはこのテストを運用でしっかりと行っていかないとプロジェクトとしての品質向上にはつながりません。また、コマンドラインの扱いに慣れていない方は、コマンドラインからのテストの実行に抵抗があり、テスト結果もコンソールに出力されるため見づらいと思う方も多いと思います。 そこで今回はCI（継続的インテグレーション）ツールであるJenkinsとSeleniumを連携することで、定期的にテストを実行し、テスト
まずはじめに つい先日、はじめてjenkins pipelineのためのJenkinsfileを作成し、PHPアプリケーションのワンクリックデプロイを実現しました。今回は振り返りの意味も込めて、その際に事前に知っておくと良かった点をまとめていきます。これから、Pipelineを構築したい方は参考にしてみてください。 環境は以下の通りです。 CentOS: 7.3.1611 Jenkins Version: 2.73.2 私の場合は、Pipelineを作成する前にRubyで書かれたCapistranoというデプロイツールでリリース用のスクリプトをすでに構築・運用済みでした。慣れてしまえば十分な環境でしたが、毎回コマンドを叩く手間と増加するチームメンバーへの共有コストを考えるとよりシンプルな手順が必要だと感じてきたため、Jenkinsへの移行を決断しました。 移行プロセスとして、ゼロからCap
GitHub - cider-security-research/cicd-goat: A deliberately vulnerable CI/CD environment. Learn CI/CD security through multiple challenges.
The CI/CD Goat project allows engineers and security practitioners to learn and practice CI/CD security through a set of 11 challenges, enacted against a real, full blown CI/CD environment. The scenarios are of varying difficulty levels, with each scenario focusing on one primary attack vector. The challenges cover the Top 10 CI/CD Security Risks, including Insufficient Flow Control Mechanisms, PP
Jenkinsだって設定もプラグインもジョブ定義も全部コード管理してDockerにまとめてFargateで動かしてデプロイを楽にしたい - エムスリーテックブログ
＜エムスリー Advent Calendar 2020 まで残り4日となりました。新卒じゃないし、本編も書くけど、Advent Calendar本編に先んじて執筆します。＞ こんにちは、エムスリーエンジニアリンググループの福林 (@fukubaya) です。 日テレらんらんホールは、よみうりランド内に2014年3月19日に開設した全天候型多目的ホール。本文には特に関係ありません。 この記事とかこの記事で 書いているように、弊社ではオンプレ環境で稼動するサービスのAWSやGCPへの移行が進行中です。 いろんなサービスが、Docker化してFargateで動くようになってきたので、 それらのサービスのデプロイに使うJenkinsもコード管理してFargateで動かしたい、そしてデプロイを楽にしたい、という話です。 速く、楽に、でも確実にデプロイしたい Google FormとJIRAで承認フロ
はじめに 最近社内でJenkinsを導入する必要が出てきたのですが、デフォルトでは非常に使いにくいですよね？結局プラグインを入れろという話になるのですが、情報が結構古いものしか見つかりません。。。すでに使い古されているので、検索しても古い情報しか見つからないんですね。 使えそうなプラグインは少しづつ見つかってきているのですが、改めて2019年版としてまとめてみることにしました。 おことわり * 備忘録としての記事なので、カテゴリーごとに分けるなどのことはしていません。 * Jenkins職人にならないように気をつけたので、不必要にプラグインを導入することは避けています。（最低限のものだけ紹介します。） * 基本的にFreestyleジョブ向けを選んでいます。 プラグインまとめ Docker Plugin 言わずもがなですね。Docker上でテストを実行するには必要不可欠です。 Jenkin
Spring BootによるAPIバックエンド構築実践ガイド 第2版 何千人もの開発者が、InfoQのミニブック「Practical Guide to Building an API Back End with Spring Boot」から、Spring Bootを使ったREST API構築の基礎を学んだ。この本では、出版時に新しくリリースされたバージョンである Spring Boot 2 を使用している。しかし、Spring Boot3が最近リリースされ、重要な変...
はじめに はじめまして。サムザップで新規プロジェクトチームに所属しています三上です。 新規プロジェクトではCI環境構築も担当しており、今回はUnityビルド環境の構築についてお話ししようと思います。 結論から言うと、私のプロジェクトではオンプレミスのサーバーを用意して、JenkinsのマスターとスレーブのコンテナをDocker上で動かして、Dockerが動くホスト側でUnityプロジェクトをビルドしています。 構築方法の検討 Unityビルド環境の構築にあたり、下記の3つの構築方法の選択肢と、それぞれのメリデメを考えました。 構築方法 メリット デメリット オンプレミス x Jenkinsをサーバーに直接導入 ・Jenkinsの初期構築工数が少ない ・Jenkins増設時の工数が多くなる ・ホストのビルド環境構築の工数が多い オンプレミス x JenkinsをDockerコンテナ化 ・Je
CIをJenkinsからCircleCIに載せ替えた話 - Cybozu Inside Out | サイボウズエンジニアのブログ
kintoneチームの川向です。 kintoneチームではCIツールとしてJenkinsを長い間使用してきましたが、 2021年の夏でCircleCIへの移行を完了しました。 今回はその時の様子を共有したいと思います。 2021年初めの状況 2021年初め頃のkintoneチームでは、メインのCIとしてJenkinsを使用し、CircleCIをサブとして併用していました。 リリース候補のブランチのCI(メインのCI)では、Jenkinsを使用して複数のジョブを用意し、 それをJoinプラグインで繋げていました。 このプラグインを使うことで、別々のジョブを同時実行することができます。 これをDelivery Pipelineプラグインで可視化していました。 また、メインのCIではE2Eのテストも自動で実行しています。 テストでは特別にセットアップした開発機材を使う必要があり、その排他制御のた
パフォーマンス測定のためのApache JMeterプロファイルを作成し、HTMLレポート出力機能を活用してパフォーマンスの概要を把握する | くじゃくのーと
hainet/jmeter-performance-test-profileContribute to hainet/jmeter-performance-test-profile development by creating an account on GitHub.github.com Webアプリケーションの開発中には『負荷試験』に取り組むことになります。『負荷試験』と一口に言っても、パフォーマンスを測定する『負荷試験』、高負荷が与えられた場合の挙動を確認する『負荷試験」、長期間に渡って一定の負荷を与えられた場合のシステムメトリクスを監視する『負荷試験』などそこには様々な文脈が含まれています。ここでは『負荷試験』をパフォーマンスを測定することに限定し、それに役立つJMeterプロファイルとHTMLレポート出力機能を紹介します。 重要 パフォーマンスと多重度 Webアプリケーションの
How a Jenkins Job Broke our Jenkins UI - Slack Engineering
Maria Sabastian Senior Software Engineer, Mobile Build & Release Artwork courtesy of the Jenkins project. At Slack we manage a sophisticated Jenkins infrastructure to continuously build and test our mobile apps before release. We have hundreds of jobs running in a variety of different environments. One day something very odd happened — our Jenkins UI stopped working although the jobs continued to
Ansible と ACI で実現するネットワークの Infrastructure as Code | ネットワンシステムズ
インフラをコードとして定義し（Infrastructure as Code : IaC）、インフラの構築や運用を自動化する取組が多く行われています。IaC を実現するためには、そもそも IaC に対応しているインフラを用意する必要があります。クラウド環境においては、 IaC を実現するためのツールが既に提供されています。例えば、AWS では CloudFormation を使うことで、yaml 形式で記載された構成情報から、AWS のリソースを自動構築することができます。 そこで、オンプレミスのサーバーとネットワークがある環境でもクラウドと同じようにインフラをコードとして定義し、管理できる環境を構築しました。 何を出来るようにしたか オンプレに用意した GitLab にネットワークの構成情報が書かれた yaml ファイルを git push すると、自動的に Cisco Nexus 900
DooD(Docker outside of Docker)環境Jenkinsにおけるjenkins_homeと/var/run/docker.sockのパーミッション - Qiita
$ mkdir $HOME/jenkins_home $ docker build . -t jenkins-dood ... $ docker images REPOSITORY TAG IMAGE ID CREATED SIZE jenkins-dood latest b07c3629294e 21 hours ago 944MB jenkins/jenkins 2.322-jdk11 a7aa4a28243e 4 days ago 442MB jenkins/jenkins latest a7aa4a28243e 4 days ago 442MB $ docker run -d \ --name jenkins-dood \ -u $(id -u):$(id -g) \ --group-add $(awk -F: '$1 == "docker" {print $3}' /etc/gr
はじめに Jenkins を使って CI 環境を構築する方法について説明します。 Jenkins は 2.121.1 を使いました。 アプリケーションは Ruby on Rails を対象にしています。 尚、導入したプラグインは他にもあるかもしれませんが、あまり比較できていません。 想定する CI 環境と開発の流れ CI 環境 CI 環境は以下を想定しています。 開発は各人の PC で行う SCM は Git を用いる Git Repository は GitHub を用いる (public) Jenkins はサーバ上に構築する(GitHub と Jenkins が連携する) Jenkins とは Jenkins はジョブ管理アプリケーションです。 何かしらの処理を行うジョブを作成し、ジョブを実行する条件をイベントとして設定して利用します。 (当然、手動で実行もできる) 今回想定する C
いつも通り、yum update で Jenkins のバージョンアップを行ったら以下のエラーで停止した。 ちなみに、OS は Amazon Linux(1系)です。
具体例から学ぶJenkinsの設定 - Qiita
はじめに 自分のプロジェクトで回している自動テストに関するジョブについて簡単に説明します。 体系的な話は本を読んでもらうとして、ここでは個別具体的な話だけします。 jenkinsの設定の見方 プロジェクト名と説明欄 そのままなので特に言うこともない。 強いていうなら、説明は正しく書きましょう。 ※キャプチャの説明文をもうちょっと正確に書くなら「15分毎に開発ブランチをチェックして変更があれば実行する」かな。 古いビルドの破棄 これはビルド実施完了時に、「14日以前」もしくは「15件目を超える」ジョブ履歴を消す設定になっています。 ビルドの実施完了時に削除処理が走るので、月に1度しか動かなさいジョブなら、ジョブを実行するまで前回分（1ヶ月前）のジョブ履歴は残っています。 ソースコード管理 Gitのリポジトリを指定して持ってきています。 まぁ要はcloneないしはpullするリポジトリ。 ちな
Jenkinsのdockerイメージを作成する手順を構築していたのですが、毎回プラグインのインストールをするのもなんだよね。。。 ということで、プラグインがあらかじめインストールされたdockerイメージを用意することにしました。 また、毎回jenkinsのユーザをつくるのもなんだよね。。。 ということで、ユーザも同時に作成するようにしています。 なお、開発環境がproxy背後なので、proxyの設定も入ったスクリプトになっていますが、そうでない方はproxyの記載は必要ないです。 Preinstalling pluginなjenkinsを作成する 「Suggested plugins」だけでなく、任意のプラグインがインストールされた状態のjenkinsを作るには、公式のgithubの情報がすごくためになります。 あ、公式と言っても、jenkinsの公式の方です。この記事にも書きましたが、
GitHub - gquere/pwn_jenkins: Notes about attacking Jenkins servers
A tag already exists with the provided branch name. Many Git commands accept both tag and branch names, so creating this branch may cause unexpected behavior. Are you sure you want to create this branch?
Jenkinsとshellの初心者が1からジョブを作って勉強になったこと - その１(shell script) - Qiita
最近社内で新たにJenkinsジョブを作るチャンスがありました。 ShellScript、dockerなどに詳しくないこともあり、色々模索しました。 その中で勉強になったことをこの記事で記録します。 今後Jenkinsジョブを作る方のためにもなれればと思います。 shellスクリプト諸々 今回のJenkinsはUnixサーバーで建てられたため、シェルスクリプトを書く必要がありました。 windowsのbatを少し作ったことはありますが、shellはほとんど経験がなく、初歩的なところから色々調べました。 #!/bin/bash shellで書くため、まず先頭にこの記述が必要です。 bash以外に他にもcsh、zshとか色々種類があります。 種類ごとに文法も違います。 例えば、cshでは環境を設定する場合、setenvというコマンドを使いますが、bashではこういう文法はなくて、exportを
自己紹介と今回書くこと こんにちは、enzaプラットフォーム事業本部でエンジニアをやっている安藤です。 巷で話題のGitOpsについて「聞いたことあるけど、導入は検討していない」という状態だったのですが、今更ながらGitOpsが与えてくれる恩恵について知ることができたので、そのことについて書きたいと思います。
始めに Jenkins 2.0からパイプラインが、そしてJenkins 2.7からはBlue Oceanプラグインが利用可能となりました。今回はこれらのプラグインを取り上げます。 対象は以下の方々を想定しています。 Jenkinsは使ったことがあるが、1.6系のJenkinsまでで止まっている。 パイプラインに興味はあるが、敷居を高く感じている。 画面ショットを交え、実際に手を動かしながら実行できる内容となっていますので、実際にJenkinsを操作しパイプラインとBlue Oceanの理解を深めていただけると幸いです。 パイプラインとは 従来Jenkinsはフリースタイルジョブでジョブを定義していました。ただフリースタイルジョブでは、例えば条件ロジックを組めなかったり、ジョブの途中で停止してしまった場合に最初から始めなければならなかったりと現実的にCI/CDを実現するには多くの制約がありま
【Jenkins】Warnings Next Generationプラグイン - shimapapa.io
前置き 前回から引き続きJenkinsについて。 【Jenkins初期設定】Gmailへのメール送信で「javax.mail.AuthenticationFailedException」が発生 - shimapapa.devの日記 Jenkins設定のお手本はこちらのudemyのコースです。 www.udemy.com 今回の話題 コース内で設定したCheckstyleとFindBugsのプラグインは、現在Deprecated=非推奨になっておりました。 調べたところ、現在は「Warnings Next Generationプラグイン」を使用するのが良いようです。 github.com 導入手順 1.インストール 「Jenkinsの管理 > プラグインの管理 > 利用可能」から、「Warnings Next Generation Plugin」を探してインストールします。 2. 設定 「プ
はじめに こんにちは。モノリスソフト 開発環境エンジニアの柴原です。 今回は私がJenkinsでよく使っている実装について紹介をしたいと思います。この記事のエッセンスは以下の通りです。 Pipelineスタイルのジョブ作成の例に触れる ジョブの運用をツール担当者と分担するためのスクリプトの書き方を知る ツールの実行前後の処理はジョブ間でよく似ているものが多いので、ユーティリティを集めたライブラリを作って活用する Jenkinsってなに？ ゲーム開発の現場では、チームメンバーが日々サーバーに製作したデータをアップロードしてくれるわけですが、新しいデータをゲーム上で確認するには、データのコンバートやゲーム実行ファイルの更新が必要です。 このデータのコンバートや実行ファイルの更新を、決められた順序で実行し、完成した最新バージョンのゲームを配布用サーバーに配置するまでを定期的に自動で行う仕組みをC
Jenkins と Github を連携させるための手段として、Webhook と SCMポーリングの二つあると思いますが、違いをまとめてみました。理解を深めるためにまずは予備知識を下に並べます。 Jenkinsとは Javaで書かれたオープンソースCIツール。 CIとは Continuous Integration (継続的統合)。アプリ開発時の品質改善や納期短縮のための習慣。 習慣とかわかりにくいのでもっと狭義に言うと ビルドやテストを頻繁に継続して行うことで、バグを早期に発見し、開発の効率・納期の短縮を実現させるための手法。 (ビルド：コンパイル〜ライブラリの依存解決〜パッケージ化のようなソースコードからリリース/デプロイ可能なモジュールを作成するまでのプロセス。) 手法とかイメージしにくいのでもっと具体的に言うと 時間 (何時間に一回とか) もしくはトリガー (Github上でプル
ファイル更新があった場合だけJenkinsでジョブを走らせるFile System SCMプラグインの紹介 | GRIPHONE ENGINEER'S BLOG
GRIPHONE Advent Calendar 2018 24日目の記事を担当しますエンジニアの西村（大）です。 特定のディレクトリ以下で更新があった場合だけJenkinsのジョブを走らせるプラグインを紹介したいと思います。 ※この記事はGRIPHONE Advent Calendar 2018 24日目の記事です。 https://qiita.com/advent-calendar/2018/griphone https://adventar.org/calendars/3147 読むの面倒な人向けまとめ Pullしまくるジョブで疑似Webhookをして、File System SCMプラグインを使って特定のディレクトリ以下で更新があった場合だけジョブを走らせる やり方 Gitなどのバージョン管理のシステムを使う場合でWebhookを使える場合は良いのですが、 社内インフラからしか接続
GiteaとJenkinsによるCI/CDの実例サンプル（Python / PHP / Perl でテストとデプロイを自動化する） - Qiita
GiteaとJenkinsによるCI/CDの実例サンプル（Python / PHP / Perl でテストとデプロイを自動化する）GitJenkinsCIテスト自動化gitea はじめに 先日、GiteaとJenkinsを利用したCI/CD環境を構築しました。 この環境を利用して、テストとデプロイを自動化するサンプルを動かして、いわゆるCI/CDに入門してみようと思います。 対象はPHPとPythonとPerlで作成したHTMLを生成するだけのアプリです。 できるだけ簡素なサンプルとしたかったので、フレームワークは利用していません。 簡単なサンプルで一連の流れが自動化できた（と思ってる）ので、これを「ひな型」として拡張していけたらいいかな、と思います。 これをやります user01というひとが、nginxが動作している開発サーバ(web-dev)上でsampleというアプリを作成していると
ユーザー：admin パスワード：P@ssw0rd Jenkinsサーバー：http://192.168.1.101:8080 上記の「sample_job」というジョブの情報を「config.xml」というファイル名で保存するには以下のようになります。 以下のようなconfig.xmlが取得できます。 <?xml version='1.1' encoding='UTF-8'?><project> <description>sample job</description> <keepDependencies>false</keepDependencies> <properties/> <scm class="hudson.scm.NullSCM"/> <canRoam>true</canRoam> <disabled>false</disabled> <blockBuildWhenDown
GitHub ActionからVPN経由でJenkins jobを実行したい - Qiita
はじめに 仕事でGitHubを使い出したんですが、Push後に既存のJenkins上にあるjobを実行をしたい。でもJenkinsサーバーはVPN上、どうやって繋ぐんだろう。 ってのを調べて解決したので記事に残しときます。 ポイントは3つ 1. GitHub上で秘密鍵などのシークレット情報はどうやって管理するんだろう？ 2. VPNはどうやって張ったらいいんだろう？ 3. GitHub ActionからどうやってJenkinsのJobを呼ぶんだろう？ GitHubでのシークレット情報の管理 GitHubでは、リポジトリのsettins > secretからシークレット情報が保存できます。(リポジトリ管理者限定) 例えば EncodedVPNSettings という名前のsecuret情報を登録した場合、 secrets.EncodedVPNSettings を環境変数に設定することで、se
Jenkins CircleCI 比較 - Qiita
前提 システム開発にCIツールを導入することになったのでどれがいいか検討したので備忘録。 要件によってどれがいいかは変わると思いますが一例として参考になれば。 CIツールは多数ありますが、いったんJenkins / CircleCIで比較しています。 環境 オンプレのlinux6系でビルド/デプロイ/自動テストを動かしたい メリデメ メリット 1.自由度が高い 2.任意のタイミングでビルド・デプロイできる デメリット 1.自前のデプロイサーバが必要 2.運用大変、設定大変で属人的になりやすい 3.複数プロジェクトのビルド(php、Android、iOSなど)をする際、一つのサーバ内でSDKやランタイムを共有してしまい、お互いに干渉して副作用が発生する場合がある メリット 1.ymlの設定ファイル一つで制御できるので運用が楽 2.クラウドサービスなのでサーバ構築不要 3.ビルド毎にランタイム
JCasC (jenkins configuration as code) の構築 - Qiita
jenkins のコード化プラグイン "jenkins configuration as code"について、しばらく検証していたのをまとめました。 JCasCとは jenkinの設定をコード化し、別の環境でも同じ設定、プラグイン、ジョブを再構築するプラグインです。 GUIによる設定がメインになっているjenkinsにおいて、属人化を無くす可能性が高いです。 Jenkins Configuration as Code：最初の一歩（ママ見て、すごいでしょ） github.com/jenkinsci/configuration-as-code-plugin 注意点 今回は、事前に用意したdockerファイル、jenkinsファイルでjenkinsプロジェクトが自動構築される様に用意しました。 jenkinsの本来の利用は、ビルド、テストの自動化ですが、今回、もともとの利用用途がジョブの実行であ
Jenkins Web API まとめ - Qiita
Overview curl で Jenkins の Web API を叩きたかったのですが、なかなか自分が欲しい情報が集まりませんでした...。 他にも困っている人がいるかなと思ったのでまとめておきます。 各 Node 情報を取得
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
JenkinsとSeleniumを使ってWebコンテンツの自動UIテスト環境を作ろう！ - ICS MEDIA
Jenkinsfileの書き方 (Jenkins Pipeline) - Qiita
2019年でも使えるJenkinsプラグイン厳選まとめ10選 - Qiita
Jenkinsの開発者が継続的リスクベーステストのMLスタートアップを立ち上げ
Dockerを用いたUnityビルド環境の構築 - Sumzap Engineering Blog
JenkinsでCI環境構築事始め - Qiita
Jenkins2.235のバージョンアップで公開鍵のインストールエラー｜chatora tips
pluginsインストール済＆ユーザ作成済のJenkins用Dockerイメージを作る手順
俺、今期が終わったらGitOpsするんだ - Tech Inside Drecom
Blue Oceanを用いて作る初めてのパイプライン | CloudBees|テクマトリックス
Jenkinsでツールを定期実行しよう｜TECH BLOG｜モノリスソフト
Jenkins と Github を連携させる Webhook と SCMポーリング - Qiita
Jenkinsに登録されているJob設定のインポート・エクスポート(CSRF対策)