今さら聞けないDocker入門 〜 Dockerfileのベストプラクティス編
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
今時のアプリ開発において、コンテナは避けて通れないものになっています。そして数多くあるコンテナ実行環境の中でも、デファクトスタンダードと言えるのがDockerです。そんなDockerのイメージですが、皆さんは正しくビルドできていますか? そのコンテナは無駄に太っていませんか? 効率よく最短時間でビルドできていますか? セキュリティは大丈夫ですか? 今回はDockerfileの書き方をテーマに、「今さら聞けない」Docker入門をお届けします。
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能
コンテナイメージなのにブート可能な新技術による「Image mode for Red Hat Enterprise Linux」、Red Hatが発表。レジストリなどのコンテナ関連ツールがそのまま利用可能 Dockerコンテナで使われるコンテナイメージは、そもそもOSのカーネルなどが含まれていないためそれ単体で実行することはできず、コンテナに対応したOSの上にデプロイすることで実行されます。 このコンテナイメージのフォーマットは業界標準の「OCIコンテナ」（Open Container Initiativeコンテナ）として標準化されていますが、このOCIコンテナのフォーマットを守りつつ、ベアメタルサーバ上でブート可能な「ブータブルコンテナイメージ」の開発が進められています。 ブータブルコンテナイメージとは？ ブータブルコンテナイメージは、カーネルやデーモンなどの単独で実行可能なOSとしての
どうも GitHub Actions 上で Docker ビルドを行うと時間がかかるなぁと感じていました。 かなり軽量の Go の Web アプリケーションを Docker イメージにしてプッシュするプロセスなのですが、全体で 3 分ほどかかっています。 今回はその速度改善を行ったので、得た知見を記事にしたいと思います。 最終的に、ケース次第では以下のような結果を出すことができました。 ※ケース = go のソースコードのほんの一部を変更してワークフローを実行する。 go.mod など依存関係に変化はない。 go build: 60秒 → 1秒 docker/build-push-action ステップ: 2分30秒 → 30秒 ワークフロー: 3分 → 1分 前提 go build は Dockerfile のステップで行っており、イメージとして以下のような内容になっています。 FROM
対象者 Docker使いたいけどよくわからない Docker使い始めたけどコマンド言われるがままに打っていてよくわかってない コマンドと動作を図示で理解したい こんな人の理解の一助になれば幸いです。 (前提条件: docker version 26.0.2) Dockerコマンドを可視化してみた 勝手にローカルのPCをmacにしているのはご愛嬌です ※2024/5/16 9時訂正版の画像に差し替え コメントで間違いを指摘していただきありがとうございます🙇 細かいオプションなどは一旦無視してライフサイクルの部分を抜き出してみました。 Docker imageの操作 dockerの肝となるコンテナは、imageから生成します。 そのimageは、 docker hubからpullしてくる dockerfileからbuildする この2択で生成します。 コマンドは、 など、 docker i
Databricks Container ServiceでTensorRT-LLMを動かしてみた - NTT Communications Engineers' Blog
本記事ではDatabricksのDatabricks Container Serviceを用いてNVIDIA社の推論ライブラリであるTensorRT-LLMを実行可能なNotebook環境を構築する方法を紹介します。 目次 目次 はじめに Databricks Container Service NVIDIA TensorRT-LLM 解決したいこと TensorRT-LLM Container Imageの作成 Databricks Containers ベースイメージの変更 Pytorch バージョンの変更 TensorRT-LLMのインストール 動作確認 Databricks環境設定 TensorRT-LLMのインポート Llama2 HF-7b-instruct モデルの変換 TensorRT-LLMの呼び出し まとめ 参考文献 はじめに こんにちは、NTTコミュニケーションズの露
Rails で構築しているアプリケーションで自然言語処理を行いたかったので、Ruby で自然言語処理を行えるライブラリの ruby-spacy の検証を行うために docker で環境構築を行うことにしました。 後述しますが、単なる gem ではなくある程度準備が必要なもので、はまった個所もいくつかあったので、備忘録として残します。 ruby-spacy とは ruby-spacy とは Yoichiro Hasebe さんによって開発されたライブラリで、Python 用の自然言語処理ライブラリである spaCy を Ruby で利用できるようにしたライブラリです。 spaCy とは、Python/Cython で構築された自然言語処理を行うためのライブラリで、訓練済みの統計モデルを使用することができます。 参考: https://spacy.io/ 参考: https://ja.wiki
Causal Discovery Toolboxで簡単にデータの因果関係を解析してみよう - ENGINEERING BLOG ドコモ開発者ブログ
TL;DR この記事では，Causal Discovery Toolbox（cdt）を用いて観測データから因果関係を簡単に解析する方法を紹介します．cdtは，Pythonで利用可能なツールで複数の因果分析モデルとアルゴリズムを提供しデータから因果関係を推定し視覚化することができます．特に，PCアルゴリズム，GES，LiNGAMなどの主要なアルゴリズムを使用した因果探索の手順とサンプルコードを提供し，それぞれの性能評価も行います． TL;DR はじめに 因果探索とは Causal Discovery Toolbox(cdt) 環境構築 利用できるアルゴリズム 1.PCアルゴリズム (PC) 2.CAM (Causal addtive model) 3.CGNN (Causal Generative Neural Networks) 4.GES (Greedy Equivalence Sear
ローカル環境を汚さずにMySQLの動作検証をサクッとしたかったので、Dockerを使うことにしました。 やりたい検証は単純なものだったので「わざわざDockerfileを準備しなくても、ベースイメージから直接コンテナを起動すればいいか」と思い、以下のコマンドを実行しコンテナを起動→MySQLに接続しました。 $ docker run --name mysql_container -e MYSQL_ALLOW_EMPTY_PASSWORD=true -d mysql:8.0.36 $ docker exec -it mysql_container bash bash-4.4# mysql mysql> ここまでは、何の問題もありませんでしたが、日本語を含んだSELECT文を実行する際に、問題が発生しました。 以下のように「あ」を入力中、確定するためにEnterを押すと「あ」が消えてしまうので
Difyを試してみました Difyが話題だったので、少し試してみました。一言でいうとOSS版の高機能ChatGPTのカスタムGPT（GPTs）でしょうか。より詳しくはnpaka先生の記事を参考にしてください。 ChatGPTの有料版でできること以上のことができます。機能も多機能で、少し触った感じでは完成度も高いように感じました。 クラウド版を使うこともできますし、ローカルで自前でサーバーを立てることもできます。GPTsに比べた分かりやすいメリットある使い道は、容量制限なく手軽にローカルでRAGをクラウドにデータをアップロードできる点でしょうか。 それ以外には、GPT4以外のClaude 3 OpusなどのLLMも使えたり、細かい設定を切り替えたりできるので、手軽に色々できそうです。ただ、結構できること多いので少し詳しい人向けかもしれません。 Difyのローカルセットアップ方法 クラウド版は
DockerでLaravel 11のローカル開発環境を構築していきます。 DB確認用に、phpmyadminもインストールします。 コンテナは以下のような構成です。本番環境に応用できるように、あえてSailは使いません。 アプリコンテナ PHP:8.3をインストールして、Laravel 11をインストールする Nginxコンテナ 最新のNginxをインストール DBコンテナ MySQL:8.0.36をインストール phpmyadminコンテナ 最新のphpmyadminをインストール(現時点の最新バージョン5.2.1をインストール) では実際にローカル開発環境を構築していきます。 各コマンドをコピペで環境構築できます！ Laravelのローカル開発環境構築 まずは、完成系のディレクトリ構成から記載します。 ディレクトリ構成 以下のような構成となります。 ├── docker │ ├──
Deploying is pretty much the same experience as with Fly.io. Type one command, watch output scroll by as your Dockerfile is being built, uploaded to a registry, and then pulled down, and then your ENTRYPOINT and CMD are executed on the new container. It is not as pretty (we do pty and ANSI cursor right - kamal simply scrolls), but the end result is the same. I’ll likely build shell aliases (or mor
1. はじめに Webページや動画からテキスト情報を抽出することは、情報収集やデータ分析など、様々なタスクにおいて重要です。この記事では、DockerとFastAPIを用いて、URLからテキストを抽出するアプリケーションを構築する方法について解説します。Dockerは、アプリケーションの実行環境をコンテナ化することで、環境依存の問題を解消し、デプロイを容易にする技術です。FastAPIは、Python製のWebフレームワークであり、高速で効率的なAPI開発を可能にします。 この記事を活用するとできること youtubeから字幕(transcript)を取得して、Difyで要約させる WebサイトのURLから、テキストを出力して、Difyのワークフローに流し込む Web上のPDFからテキストを抽出して、DifyでQAチャットボットを構築する 2. 環境構築 2.1 Dockerfile 以下
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
GitHub Actions 上での Go の Docker ビルドを高速化する
Dockerコマンドの挙動を図解にして覚えやすくしてみた - Qiita
Rails × ruby-spacy 環境を Docker で構築して自然言語処理に入門する
DockerのMySQLで日本語入力ができなかった話 - Qiita
Difyをローカルで動かしてRAGまで試してみる
DockerでLaravel 11のローカル開発環境を構築する。ついでにphpmyadminも入れてみる。
Fly.io ❤️ Kamal
URLからテキストを抽出する自作APIアプリケーションの構築|youtube, PDF