MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker
Golang を使うなら Makefile を恐れるな - Frasco
最近 Golang を使っています。開発中、私は go build と go test を繰り返し手入力で実行するのに慣れてしまいました。これはついついやってしまう、私の悪い癖でした。引数がないようなシンプルなコマンドであれば、それほど辛くありません。しかし、タスクが複雑になってくれば、当然苦痛になってきます。逃げ道となりえる選択肢はほとんどありません。bash スクリプトは、あなたの仕事の役に立つでしょう。しかし、私としては makefile が役に立つと言いたいです。make ツールはこういった理由から生まれたものであり、 makefile には普段行う作業をまとめておくことができるからです。私は make の教祖になって、うまい書き方を教えたりすることはできませんが、今回の記事では、私のプロジェクトでよく使っている makefile をまとめておきました。では、やってみましょう。 #
C/C++中規模プロジェクトのための超シンプルなMakefile | POSTD
私は多くの小規模プロジェクトで Make を使ってきましたが、より大きな規模のプロジェクトになると、それは非常にうんざりするようなものでした。最近までは、自分のビルドシステムに行いたいことが4つあったのですが、Makeでの方法が分かりませんでした。 out-of-sourceビルド（オブジェクトファイルが、ソースとは分離されたディレクトリにダンプ出力されます） 自動生成される（かつ正確！）ヘッダの依存関係 オブジェクト／ソースファイルのリストの自動的な決定 インクルードディレクトリのフラグの自動生成 以下にこれらの全てを行える、C、C++、およびアセンブリで動作するシンプルなMakefileを紹介します。 MAKEFILE TARGET_EXEC ?= a.out BUILD_DIR ?= ./build SRC_DIRS ?= ./src SRCS := $(shell find $(S
The Makeflow Workflow System - Cooperative Computing Lab
Makeflow is a workflow system for executing large complex workflows on clusters, clouds, and grids. Makeflow is easy to use. The Makeflow language is similar to traditional Make, so if you can write a Makefile, then you can write a Makeflow. A workflow can be just a few commands chained together, or it can be a complex application consisting of thousands of tasks. It can have an arbitrary DAG stru
Makefileを自己文書化する | POSTD
私たちのプロジェクトではいつも、非常に長い Makefile を使用して、インストールやビルド、テスト、デプロイメントの処理を自動化しています。ターゲット名はほとんど標準化されていますが（ make install 、 make deploy ）、中には説明が必要なものもあります（ make run-dev 、 make restart-api ）。そして、詳細なmakeターゲットを追加するほど、それらの処理内容をテキスト形式で大量に記載しなければなりません。私たちのプロジェクトでは通常、このような文書を README ファイルに書いています。 しかしCLI（コマンドラインインタフェース）を用いる場合は、主に自己文書化ツールを使っています。 make と打つだけで、利用可能なコマンドとその説明が一覧表示されたら便利だと思いませんか？ それを実現するのは、実はとても簡単です。まずは各ターゲッ
DockerのMakefile(2) ライブラリ - Qiita
Docker Makefileのライブラリ化 以前Makefileの記事を書きましたが、便利は便利なのですがつかっていると困ったことが出てきます。 いくつか環境構築していくとMakefileをコピーしていきます。そして環境単位でMakefileを改善すると機能があったりなかったりと最新もどれだかという事態に。 そういうわけでMakeの機能でinclude文を利用してもうほとんど書き換えない共通部分を切り出します。 共通のdocker.mk makeにもインクルードパスがあるようで、 /usr/local/include/パスのファイルを探してくれるようです。 root権限があるならばここにパスを指定せずにインクルードできるので置くならここが良いでしょう。 権限がない場合は、ホームディレクトリに場所を決め、インクルード時にパスを指定してあげるようにするといいですね。 all_containe
Jenkins公式Dockerでイメージ作成 - Qiita
Jenkinsについて 継続的インテグレーションの代名詞のようなツールですね。 知ってる人は読み飛ばしてくださいｗ 繰り返し運用するような作業の間違い（品質）や作業時間の短縮（納期短縮）等を手伝ってくれるツールです。 使いどころ 自分はよく以下のようなことで使いますね。 テスト デプロイ 細かいのは上げればきりがないのですが、上記のような何回もやるような作業は登録しておくといいです。誰が何時やったか残りますし、誰がやっても同じ結果になるという点ではいいです。 使うことによっての利点 Shellやbatで単体でも書いても結果は同じだったりもしますが。 以下の点で各自が作って実行するより遥かに優れていると自分は思っています。 標準でブラウザベースのUIが付いてくる ノウハウのある人が作り、中身をは知らない人でも目的が分かれば運用も可能1 Shell等だとスクリプトが各マシンに散らばるがJenk
Seamlessly Run Composer On HHVM Inside Docker: Introducing make-docker-command
Seamlessly Run Composer On HHVM Inside Docker: Introducing make-docker-command Single purpose containers for running isolated composer, bower, compass, or capistrano commands are possible, but hard to manipulate. Read on to see how we use GNU make to seamlessly run any command line tool inside Docker, or skip to the conclusion if you just want a copy/paste experience. The ProblemIn order to instal
Makeについて知っておくべき7つのこと | POSTD
Make は、様々なタイプのファイルのビルド作業を自動的に行ってくれるシンプルかつ強力なツールです。しかしながら、makefileを書く際に問題にぶち当たるプログラマもいれば、Makeの基本知識がないことで、既存のものを再発明してしまうプログラマもいます。 Makeの働き デフォルトでは、Makeは一番目のターゲットから開始します。このターゲットのことをデフォルトゴールと呼びます。 Makeはカレントディレクトリのmakefileを読み込み、一番初めのルールで処理を開始します。しかし、Makeが完全にこのルールを処理する前に、ルールが依存するファイルのためのルールを処理しなければなりません。各ファイルそれぞれは、自身のルールに従って処理されます。 実はこれは、各ターゲットの再帰的アルゴリズムになっています。 ターゲットをビルドするルールを見つける。ルールがないようであれば、Makeはうまく
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Docker with shell script or Makefile
DockerのMakefile - Qiita
GitHub - lindenb/makefile2graph: Creates a graph of dependencies from GNU-Make; Output is a graphiz-dot file or a Gexf-XML file.
XML+XSLT = #Makefile -based #workflows for #bioinformatics