Dockerfileにincludeを使う方法 INCLUDE? Dockerfileには定型文が続くので include 文があればまとまり単位で整理することが出来て良いのですが、現状ありません。 それに対する案としてGNU C PreProcessorを使う方法がこちらのコメントにあったので、備忘録として。 Makefileを作成 Dockerfile: Dockerfile.in *.docker cpp -P -o Dockerfile Dockerfile.in build: Dockerfile sudo docker build --no-cache -t RepositoryName . 2行目と5行目の先頭はハードタブである必要がありますので注意。 Dockerfile.in を作成 これはどんなファイル名でもいいですが、Makefileに合わせる必要があります。 例えば
スリムな Docker イメージを作るため、gliderlabs/alpine イメージをベースにバイナリを一個だけポンと置いて運用するみたいなことをしています。 gliderlabs/alpine イメージは（というかほとんどの OS イメージは）タイムゾーンが GMT (UTC+0) のままなので、時刻依存の作業をさせるときには気をつけないといけません。日本時間 (UTC+9) の感覚で書いたら、9時間遅れて実行されたとかログの時刻がずれるとか起こりえます。 まっさらの状態で date を打つと… タイムゾーンの設定 メジャーな Linux ディストリビューションと同じく、/etc/localtime を変更すればよいです。zoneinfo とかはそのままだと用意されていないので、apk で tzdata パッケージをインストールする必要があります。 Dockerfile で日本標準時
開発環境を作ってるの楽しい人種なので定期的に開発環境を見直したくなります。 Dockerを使ってポータブルな開発環境を手に入れたので紹介します。 開発用コンテナと各種データベースコンテナをdocker-composeを使って構築します。 ✗TOC Dockerポータブルな開発環境 開発用コンテナ ベース 各言語 Ruby (rbenv) Python (pyenv) Golang (1.5) Node.js (nvm) データベース データベースコンテナ 付録 Dockerfile docker-compose.yml Dockerポータブルな開発環境 "docker-compose up -d"で開発環境が出来上がります、すごい。mysqlやredis他も使える、すごい。 ディレクトリ構成は以下のようになっています。 |-- data | |-- mongo | |-- mysql |
Dockerで作る開発環境 - Qiita
動機 開発したアプリケーションは自分の書いたコードだけで動いているわけではありません。コードだけを管理していても環境毎にライブラリなどが変更されていると動かなかったり挙動が変わってしまったりしてしまいます。 Ansibleなどの構成管理ツールを使う手もありますが、競合が発生してしまう恐れがありますし、ディストリビューション毎の差異を吸収してやる必要もあります。専用サーバやVMなどで環境を独占するというのも手ですが、Dockerなら簡単に用意することができる上に仮想化の実行コストが無く、メモリ消費もプロセスが使う分だけですみます。 また、Dockerを利用することでカーネル以外のディストリビューションや実行するアカウント名、ファイルパスなども含めて決め打ちにしてしまうことが可能となり、設定項目を絞り込むことができます。 目標 ソースコード以外をDocker環境に閉じ込めます ソースコードはホ
Docker image(イメージ)の違い:alpine,bullseye, buster, slim, stretch, jessie, slim-buster, windowsservercore, latestどれを選ぶべきか？
DockerでPythonやRubyなど各言語のイメージを選ぶときに、alpine, buster, slim, stretch, jessie, slim-buster, windowsservercore, latestなど選択肢がたくさんありすぎて、どれを選べばいいのか、、と迷うことがあると思います。 ここでは、alpine, buster, slim, stretch, jessie, slim-buster, windowsservercore, latestなど、それぞれの違いやメリット・デメリット、どういった場合にどれを選ぶべきかをまとめています。 例：docker hubに用意されているRubyのイメージ 各バージョンのイメージに対したくさんのタグが用意されています。 https://hub.docker.com/_/ruby alpine, bullseye, buste
tuboneです。 前回はDockerのnode.jsイメージを利用してnode.jsが動くコンテナを作り、そこからhubotを導入しました。 Dockerでは通常、イメージからコンテナを生成、起動するのが一般的ですが 前回のように、コンテナ内で作業をしてしまった場合、せっかくでしたらイメージとして保存し、別環境に簡単に移植できた方が便利です。 イメージを作る方法としてはDockerfileが定番ですが、 Dockerにはコンテナからイメージを作るCommitというコマンドがあるので今回はこちらをつかったイメージ作成をしてみたいと思います。 dockerコンテナに接続する 補足:コンテナからの抜け方の違い （冗長このうえないので知っている人は無視してください） dockerのコンテナでbashなどを起動している場合はexitで抜けるとコンテナのbashがExit（停止）して元の環境に移行し
DockerfileのADD/COPYに--chownオプションができた - Got Some \W+ech?
11/10: 追記。CI/CDでの制限について書いてなかった。 Dockerのベストプラクティスに、サービスをnon-rootユーザーで走らせなさい、というのがある。 docs.docker.com そうすること自体は簡単なのだけれども、当然ながらユーザー権限にあわせてコンテナ内のファイル等の権限を設定しなきゃいけない。仮にUSER指定した後にCOPYしてもroot:rootの権限になるので、別途chownをしてやらなければならなかった。 USER app COPY . $APP_DIR # $APP_DIRの権限はroot:root RUN chown -R app:app $APP_DIR RAILSなど関連ファイル数が結構な量になるサービスの場合、すべての権限が変わるまで10min~15minとか余裕でかかってた。このせいで、dockerのベスプラに従ってなかった人は多いと思う。僕も
10月21日(金)に、JX通信社内での勉強会でDockerfileを生産性高く書く方法のLTをした。 この３ヶ月で、公開しているものだけでも8個ぐらいDockerイメージを作ったらしいｗ ↑のスライドの要旨を言うと、 Dockerfileを書くときはTmuxとSlimeを活用しましょう！ということ。 Dockerfileを書くとき、「全部書く」→「docker build」→「修正」→「docker build」→「修正」→「docker build」みたいなことをやってると、かなり生産性が悪い。処理の途中でエラーが起きたりするし、apt-getしないといけないものが後から出てきたりする。その度に docker build していると、時間がかかってしまう。 そこで、tmuxとslimeを活用して、Dockerfileを一行ごとに検証していくと良いですよという話。 Tmuxは、Screen
公式リファレンスを見ても分かりづらいのでメモ. Docker Compose経由でビルドされたデフォルトイメージ名は {プロジェクト名}_{サービス名} となる (デフォルトプロジェクト名はディレクトリ名だが, コマンドラインオプション -p から指定可能). 例えば以下のような構成であれば, イメージ名が hoge_fuga, コンテナ名が piyo となる. hoge ┣ Dockerfile ┣ docker-compose.yml ┗ ... # docker-compose.yml version: '2' services: fuga: build: . container_name: piyo しばしば長ったらしいイメージ名になってしまう. そこで以下のように image を追加することでイメージ名を指定できる. image と build が同時に宣言されている場合は, ビ
GitHub - hartator/wayback-machine-downloader: Download an entire website from the Wayback Machine.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Dockerは去年から話題にはあがっていましたが、6月にversion 1.0がリリースされたということをきかっけに入門してみました。これより以前にLXCというコンテナ技術を知ってはいましたが、難易度が高そうで、Dockerもそうなのかなと覚悟しましたが、Dockerはかなり簡単に扱うことができました。普段Linuxを操作している方からすると、コマンドレベルは土日程度の学習コストでお釣りがきそうです。（Dockerを扱うこと自体よりも結局、どう使うか、構成をどうするか、ということが大事だと思います。） 実際に使ってみる 上記スライドにはコマンドを記載していませんので、下記に、手元のMac上からdockerコンテナ(以下コンテナ)を作成し、AWSのEC2へPHPで書いたサイトをデプロイする一連の流れを書いて見ます。 1. Docker hubよりイメージの取得 $ boot2docker s
$ docker pull junsuzuki/jupyter-rust $ docker run -d -p 8888:8888 junsuzuki/jupyter-rust あとはブラウザでhttp://localhost:8888にアクセスするとRustとElixir（とPython）がJupyter notebookで使えます。 このままでも遊ぶのには良いのだが、Dockerを停止するとせっかく勉強した内容が消えてしまう。 その場合、docker runするときに、以下ようにするとホストのディレクトリをマウントでき、Dockerを終了してもデータが消えないですむ。
GitHub - mercari/docker-appengine-go: Projects has been moved
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session.
Googleが公開しているDistrolessは、アプリケーションの実行に特化したDockerイメージで、パッケージマネージャやシェル、その他不要なプログラムを含まないのが特徴です。 余分なものが含まれないため、セキュリティスキャン結果のノイズが少なくなる、運用コストが減るなどのメリットが考えられます。 本記事では、このDistorolessをベースに、Goで書かれたHello Worldアプリの実行用イメージを作ってみます。 2018年11月現在、PythonやNode.jsといった言語用のイメージは実験的なステータスとなっています。実験的とされていないのは、GoやRust、Javaなどの言語用イメージのみです。hello.goまずは、Hello Worldアプリのソースです。よくある内容ですね。 $ cat hello.go package mainimport "fmt"func m
EM完全に理解した と思ったけど、 やっぱり何も分からなかった話 / EM Night Fukuoka #1
こんにちは、本日からCX事業部(Customer eXperience)所属になった夏目です。 サーバーレスのCI/CDでDockerを使っているのですが、そこで少し問題になったことを書いていきます。 問題 CircleCIやCodeBuildではDockerコマンドが使えます。 なので既存のDockerイメージを使用してテストやビルドをすることも珍しくもないと思います。 しかし、Dockerそのものはコマンドを実行しているローカルではなく、リモート上にあることが多いです。 そのため、-vオプションを使ってファイルを共有したりすることができません。 解決方法 ローカルのファイルをリモートのコンテナで使う方法 ローカルのファイルを追加するDockerImageを作成し、それをリモート上のDockerで動かすことで、ローカルのファイルをリモート上のDockerコンテナで使用することができます。
【Python3.6】AWS Lambdaを再現するDocker Imageのdocker-lambdaを使ってみた - 歩いたら休め
この間AWS LambdaでPython 3.6がサポートされたので、レンタルサーバーで動かしているTwitterの自動投稿やクローラーを移行しようと画策しています。 AWS LambdaがPython3.6に対応したので使ってみた ｜ Developers.IO 外部ライブラリ（twitterライブラリやBeautifulSoupなど）を利用使いたいので、zipで固めてデプロイする方法でいきたいのですが、いろいろ面倒そうなのでまずはその辺の煩雑な作業を自動化する手段でやってみました。 いろいろ調べていくうちに、以下の記事に紹介されている、「手元の環境で擬似的にLambdaを実行する」というDockerイメージが良さそうだったので使ってみます。 AWS Lambdaの開発環境を構築～docker-lambdaの紹介～ – クリエイティブ - ブログ - 株式会社テレビ朝日メディアプレックス
focuslightのdockerイメージを作った
Focuslight https://github.com/focuslight/focuslight のdockerイメージ作った。 dockerの環境あればFocuslightがすぐに試せるMakefileを用意しました。イメージのダウンロードにちょっと時間かかるけど。 実質ワンステップでfocuslightが起動します。boot2docker使用時はツーステップ。5125でlistenします。 curl -OL https://github.com/tmtk75/Dockerfiles/raw/master/focuslight/Makefile make pull init data_container run # in case of boot2docker for port-forwarding setting make natpf # sample request curl
10 Nov 2013 comments Tweet On the surface, creating a MySQL container for Docker is pretty easy, but if you want to connect in (not sure what a mysql server that didn’t allow that would be good for) and decouple your databases from your container (I’m assuming you don’t want those to go away with your container) then there are a few problems to sort out. I’m going to start with that simplistic exa
はじめに DRE Team の hyamamoto です． 皆さん，Spark は利用されていますか？ Gunosy では Digdag + Athena によるデータ整形が増えてきており，徐々に Spark の利用は減ってきています． 思い返すと，昨年入社後の OJT も Spark から Digdag + Athena への書き換えタスクでした． 一方で，決して多くはないものの，この構成ではカバーし切れない処理もあり，そういったものに関しては Spark を用いています． 話は少し飛びますが，DRE Team では Digdag や派生するバッチ処理を実行するための Kubernetes Cluster を EKS 上に構成しています． また，一部のタスクは Kubernetes の Job として Digdag から投げることで，リソースをスケールさせつつ様々な処理が可能となっていま
今回やりたかったこと 会社の同僚から以前作成していたアプリを配布するためのサイトをDocker上でリバースプロキシで接続できるようにしてくれ。ということで、なんとかサーバーを起動するまではできたのですが、Docker上でデバッグすることにはどうすればいいかわかりませんでした。 ということで、今回やりたかったことは、docker-composeでechoサーバーをDockerに立ち上げて、Remote Debugすることです。 docker-composeで複数のコンテナを管理したかったのですが、GolandのブログではDockerfileのRemote Debugの方法しかなかったので苦戦しました。 （成果物はGithubにアップしています。） ディレクトリ構成 echo+MySQL+Nginx（リバースプロキシサーバー）の構築を想定しています。 docker-compose.ymlの設定
Dockerfileを作っている最中に動作確認中に途中で落ちてしまって、その状態でイメージの中身を確認したい時とかが多々あるかと思いますが 今回はそんなやり方、定番かもしれないですが書いてみようと思います。 まずは適当なDockerfileを作ってビルドします。 docker build --rm -t building . このビルド時にエラーが出てイメージの作成が止まったという想定です。 docker buildで失敗すると・・・ docker imagesには というイメージが出来ています。 こいつは Dockerfile上のタスク(RUNとかADDとかの単位)で正常に処理が完了した状態が一時的にイメージ化されているものです。 で、docker buildで失敗した状態というのは docker ps -aで表示される停止しているコンテナが持っています。 なので、このコンテナに入ること
Docker container securityThe topic of Docker container security raises concerns ranging from Dockerfile security—relating to the Docker base images and potential security misconfigurations,—to the Docker container security at runtime regarding network ports, user privileges, Docker mounted filesystem access, and others. In this article, we will focus on the Docker container security aspects relate
DockerのVOLUMEの挙動がよくわからなくてはまっていたので、色々とテストしてみました。 VOLUMEがどんなもんなんだろというのが理解できたような、変更入りそうな感じだなーと思いつつテストしてみました。 テスト１ VOLUMEはビルド時に影響をあたえているのか！？ FROM base MAINTAINER yoshiso VOLUME ["/data"] RUN mkdir /data RUN echo "test" >> /data/test.txt CMD ["/bin/bash"] 結果、 mkdir: cannot create directory `/data': File exists というエラーがビルドの段階で発生。VOLUMEを定義した段階でディレクトリが生成されるようではあります。 テスト２ ビルドする際に、VOLUMEディレクトリにファイルは追加できるのか！？
いろいろDockerを試してみて個別にコンテナたてて動かすのはある程度理解出来てきたけど、まだ何も実現出来ていないのもうちょっと実戦に近づきたいところ。 移管したいWEBアプリケーションはmysqlを使っているので、webサーバ用とmysql用のコンテナを分けてlinkする運用を目指してやってみます。 主にこちらを参考にしてます。 http://www.alexecollins.com/docker-linking-containers/ MySQLサーバコンテナ ※ centos6をpullしている必要があります Dockerfile
Packerを使えばDockerのイメージをDockerfileを使わずビルドすることができる つまり，Dockerfileの特有な記述を使わず，今まで慣れ親しんできたChefやPuppet，Ansibleのようなプロビジョニングツールを使ってDockerのイメージをビルドできる． とのことなので Dockerfile 書かなくても良いじゃん? という。 Packer サンプル試した のサンプル試してみる このサンプルはEC2 $ packer build \ -var 'aws_access_key=XXXXXXXXXX' \ -var 'aws_secret_key=XXXXXXXXXX' \ example.json amazon-ebs output will be in this color. ==> amazon-ebs: Creating temporary keypair:
CIの時間を短くする活動を行っており, 特にその一部のアプリケーションコンテナの継続的 docker buildの改善について書きたいと思います. TL;DR dockerd の内部でイメージの子についての情報を持っている イメージ自体は親の情報しか持ってない cache対象のイメージは, 親イメージの子の中にcompare で同一とみなされる最新のもの 同一のものかどうかと言うのは命令, LABEL, ENV, ENTRYPOINT, EXPOSE, VOLUMEが変更されていないということ COPY, ADDは内部的にコマンドにコメントを埋め込む. そのコメントの中にコピーするファイルのハッシュが含まれている. コピーするファイルのハッシュが変わった場合に命令(に付随するコメント)が変わるのでcacheがbustedになる 前提 アプリケーションはすべてコンテナ化されている CI上でコ
GitHub - roottusk/vapi: vAPI is Vulnerable Adversely Programmed Interface which is Self-Hostable API that mimics OWASP API Top 10 scenarios through Exercises.
You signed in with another tab or window. Reload to refresh your session. You signed out in another tab or window. Reload to refresh your session. You switched accounts on another tab or window. Reload to refresh your session. Dismiss alert
Docker at O'Reilly
Next Docker Experiments at O’Reilly Media Docker Boston Meetup July 30, 2014 Andrew Odewahn (odewahn@oreilly.com) This presentation is at http://bit.ly/docker-at-oreilly
■ 概要 Docker Compose は、Dockerのコンテナ管理ツール 複数コンテナの構築・管理を、設定ファイルと docker-compose コマンドで一括管理できて便利 Docker for Mac には同梱されている 今回は、とりあえず最小構成(？)の WEBサーバーコンテナ + MySQLコンテナ で構築してみる ※MySQLのコンテナは、通常は公式のイメージを使用するが、今回は個別にDockerfileを指定する方法を試してみたかったので、あえて別途作成した。 ■ 参考URL ■ フォルダ・ファイル構成 以下の構成で、設定ファイルや確認用コンテンツなどを用意する。 それぞれのファイルの記述例については後述。 ※フォルダ構成は一例で、こうしなければいけないというわけではない。今回は、DBとWEBでフォルダを分けたほうがわかりやすいと思ったのでそうしている。 ~/docker
ADD リモートからもファイル追加できる 圧縮ファイルが自動解凍される COPY リモートからのファイル追加は出来ない 圧縮ファイルは自動解凍されない Dockerfileの例 FROM alpine # Auto unarchive ADD add.txt.gz /tmp # Can ADD from remote ADD https://github.com/github/fetch/blob/master/README.md /tmp # Not auto unarchive COPY copy.txt.gz /tmp
> docker-compose up --build Creating network "任意のディレクトリ_default" with the default driver Building container1 Step 1/1 : FROM python:3.6 ---> 4f13b7f2138e Successfully built 4f13b7f2138e Successfully tagged 任意のディレクトリ_container1:latest Building container2 Step 1/1 : FROM node:latest ---> b064644cf368 Successfully built b064644cf368 Successfully tagged 任意のディレクトリ_container2:latest Building container3
DockerfileをLintする場合はHadolintがオススメです。 Haskell Dockerfile Linterの略で、文字通りHaskellで実装されています。 Macで使ってみる
SAP Netweaver AS ABAP Developer Edition をDocker on GCEで動かす - YOMON8.NET
このリポジトリを知ったので、動かしてみました。インフラはGCPの無料クレジット余っていたのでGCEを使いました。 github.com SAP側インストールメディア取得手続き GCE仮想マシン立ち上げ OS環境準備(Dockerインストール) Systemd版openSUSEビルド リポジトリの取得とDockerfile修正 SAPメディア配置 メディアのダウンロード メディアの解凍・配置 Dockerイメージのビルド コンテナ起動とSAPインストール GCEにSSHトンネルを掘る SAP GUIでログオン インストール直後の環境をCommit 所感 大変だった点 良かった点 参考 SAP Developper Edition FAQs 1391070 - Linux UUID solutions SAP側インストールメディア取得手続き こちらにDeveloper Editionの記載があ
Docker Ubuntu18.04でtzdataをinstallするときにtimezoneの選択をしないでinstallする
docker imageのベースイメージをubuntu18.04に上げた時に tzdata を apt-get install するところで止まってしまってハマったのでメモしておく 素のubuntu17.10の場合 Sending build context to Docker daemon 2.048kB Step 1/2 : FROM ubuntu:17.10 ---> e4422b8da209 Step 2/2 : RUN apt-get update && apt-get install -y tzdata ---> Running in dbe30f24e997 Get:1 http://security.ubuntu.com/ubuntu artful-security InRelease [83.2 kB] Get:2 http://archive.ubuntu.com/ub
コンテナ管理ツールDockerを使うと、gitのような差分バージョン管理のもとでLXCのようなLinuxコンテナを扱うことができる（実際にはLXCではなくlibcontainerが使われる）。 ここではDockerを使い、UbuntuとCentOSのコンテナを作ってみる。 環境 Ubuntu 14.04.1 LTS 64bit版 $ uname -a Linux vm-ubuntu64 3.13.0-32-generic #57-Ubuntu SMP Tue Jul 15 03:51:08 UTC 2014 x86_64 x86_64 x86_64 GNU/Linux $ lsb_release -a No LSB modules are available. Distributor ID: Ubuntu Description: Ubuntu 14.04.1 LTS Release: 1
Collected, curated and written by: Yoni Goldberg, Bruno Scheufler, Kevyn Bruyere and Kyle Martin Welcome to our comprehensive list of Docker best practices that are exemplified under the realm of Node.js. Note that each and every bullet has a link to detailed information and code examples. The entire list can be found in our repository Node.js Best Practices. It covers the basics but goes all the
Do you know how to be built the Dockerfile? I'll talk about OCI image specification and docker image architecture. It's the way to build images, to probe cache and to parse the Dockerfile.
Base Imageは筆者の好みでubuntu (latest ※執筆時点では16.04) を使用していますが、もう少し軽量なImageを使ってもいいかもしれません。 Dockerイメージ作成 Dockerfileは下記の通りです。 FROM ubuntu:latest MAINTAINER hogehoge ENV ARCH amd64 ENV GOVERSION 1.7.5 ENV HOME /root ENV PATH $PATH:/usr/local/go/bin ENV GOPATH $HOME/work RUN apt-get update -y \ && apt-get install vim curl git -y \ && curl -s -o /tmp/go.tar.gz https://storage.googleapis.com/golang/go$GOVERSIO
Awesome-docker
Awesome-docker A curated list of Docker resources and projects View on GitHub Star Awesome Docker A curated list of Docker resources and projects If you would like to contribute, please read CONTRIBUTING.md first. It contains a lot of tips and guidelines to help keep things organized. Just click README.md to submit a pull request. If this list is not complete, you can contribute to make it so. Her
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Dockerfileでincludeを使う - Qiita
Alpine Linux でタイムゾーンを変更する - Qiita
docker-composeを使って最高の開発環境を手に入れた
Dockerの作業済みコンテナからイメージを作って移植を楽にする - Qiita
Dockerfileを生産性高く書く方法についてLTしてきた - 病みつきエンジニアブログ
Docker Composeでビルド時に任意のイメージ名を指定する方法 - 水底
【社内勉強会】Docker入門してみました – LexTech
RustとElixirを勉強するためにDockerfileを書いた - Qiita
Distrolessで、運用コストの低いDockerイメージを作る
CI details in Kubernetes
リモートで動くDockerにファイルを送ったり持ってきたりする方法 | DevelopersIO
Creating a MySQL Docker Container
Spark on k8s を EKS 上で動かす - Gunosyデータ分析ブログ
GolandでDocker上のサーバーをRemote Debug - Qiita
Dockerfileを作っている最中にデバッグするときの基本的な手順 | GENDOSU@NET
10 Docker Security Best Practices | Docker Best Practices | Snyk
DockerのVOLUMEを調べてみた。 - Less is Best
Dockerでmysqlサーバコンテナへ別のコンテナからアクセスする
Packer で Docker イメージを作る - Qiita
ちゃんと理解するdocker build cache - 薄いブログ
Docker Compose で複数コンテナ構築＆管理 - Qiita
Dockerfile の ADD と COPY の違いを結論から書く - Qiita
docker-compose.ymlでDockerfileを指定したい - Qiita
DockerfileをLintする - Qiita
Dockerを使ってみる - ももいろテクノロジー
Docker best practices with Node.js
Container Image Architecture
DockerでGoの開発環境構築 - Qiita