FlexGenをDockerで使ってみた
本記事では、FlexGenをDockerで使う方法を紹介します。 ※nvidia-docker2が導入済みの、DockerからGPUが使用できる環境でなければ実行できませんのでご注意ください。 FlexGenとは ライセンス：Apache-2.0 license FlexGenとは、自前のPCなど計算資源の小さいマシン上で、大規模言語モデル（Large Language Model: LLM）を動作させることを可能にする技術です。 FlexGenについては、既に概要を詳しく説明している記事が沢山出ていますので、ここでは説明を省略します。詳細は、リポジトリや論文で確認することができます。 論文：High throughput generative inference of large language models with a single gpu DockerでFlexGenを動作させる
仕事でPythonコンテナをデプロイする人向けのDockerfile (1): オールマイティ編 | フューチャー技術ブログ
BusterとかStretchという名前が見慣れない方もいるかもしれませんが、これはLinuxディストリビューションとしてシェアの大きなDebianのコードネームです。 Debianバージョンが少し古いStretchの方がちょびっとサイズが小さかったりはしますが、まあ実用的にはサポートが長い方がいいですよね。slimを使ってGCCとかのコンパイラを自前でダウンロードしている記事とかもたまに見かける気がしますが、マルチステージビルドであれば、そんなにケチケチしなくていいのと、パッケージダウンロードは逐次処理なので遅く、処理系が入ったイメージのダウンロードの方が高速です。並列で処理されるし、一度イメージをダウンロードしてしまえば、なんどもビルドして試すときに効率が良いです。また、多くのケースでネイティブのライブラリも最初から入っており、ビルドでトラブルに遭遇することはかなり減るでしょう。 Py
仕事でPythonコンテナをデプロイする人向けのDockerfile (2): distroless編 | フューチャー技術ブログ
なお、distrolessのイメージは2種類（3通りの名前）がありますが、Python 3.5はバグ修正はせず、セキュリティ修正のみでサポート期限が2020/9/13というステータスなので、本エントリーでは3.7の方のみを扱います。 gcr.io/distroless/python3: Python 3.5.3 gcr.io/distroless/python3-debian9: Python 3.5.3(上のイメージと同一) gcr.io/distroless/python3-debian10: Python 3.7.3 一応サンプル等もありますが、どれも1ファイルで構成されたサンプルスクリプトばかりです。前回のsite-packagesにコピーする方法を軽く試したところうまく動かず、シェルもpipもensurepipもないため、ビルドイメージにすることもできません。いろいろ調べた結果、
DockerでPython+uWSGI+Nginxの環境を作成 - Qiita
DocekerでPython3.5で作成したWebアプリケーションの検証用環境を作成 PythonでWebアプリケーションを作成することはほんとんどなかった。ノンブロッキングI/Oの（node.jsやGolangとの比較検証等を考慮した）動作検証をする際にWebアプリケーションとして用意したかったので、その際、Docker for Macで簡単な環境を構築したので備忘録として記載。 Docker ComposeでPython3.5+uWSGI+Nginxの動作環境用のコンテナを用意した。 余談だが、uWSGIは「ウエスギ」という読み方が一般化しているようだ。「ユーウイスキー」と読んでいた。 Docker for Macのインストール Docker for Macを利用した。ここからDocker for Macをダウンロードして、Macにインストールする。 Docker Composeの設定
Read the Docsでコンパイルがうまくいかなかったのでローカル環境でデバッグした話 - Qiita
ちなみに、本記事記載時は2.0のtagがlatestでした。 次に、管理画面のビルドログを元にコマンドを実行していきます。本来であれば公式のビルド方法をpythonから読み解いてもいいのですが、面倒なのでディレクトリ名などから適当に行間をうめつつ実行していきます。 export READTHEDOCS=1 # 追加分 mkdir -p /home/docs/checkouts/readthedocs.org/user_builds/word-embedding-loader/envs # 追加分 git checkout https://github.com/koreyou/word_embedding_loader.git /home/docs/checkouts/readthedocs.org/user_builds/word-embedding-loader/envs/latest
Docker + Alpine3.5 + Apache2.4 + Python3.xで、mod_pythonをソースコードからインストールしてみた - メモ的な思考的な
以前、Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみました。 Docker + Alpine3.5 + Apache2.4 + Python2.7で、mod_pythonをソースコードからインストールしてみた - メモ的な思考的な その時はPython2.x系で試したため、今回はPython3.x系でmod_pythonをコンパイル&インストールし、Hello worldしてみます。 目次 環境 まとめ 準備：prefork MPMで動作するApache2.4のDockerイメージを作成 masterをコンパイル&インストール ブランチ3.5.xをコンパイル&インストール masterにブランチ3.5.xをマージして、コンパイル&インストール masterのビルド用ファイルをブランチ3.5.x
Docker + Alpine3.5 + Apache2.4 + Python3.6で、SSIを使ってみた - メモ的な思考的な
前回、フォームのデータをcgiモジュールを使って受け取りました。 Docker + Alpine3.5 + Apache2.4 + Python3.6で、フォームのデータを標準モジュールcgiで受け取ってみた - メモ的な思考的な 今回は、ApacheのSSI(Server Side Include)を、公式チュートリアルを見ながら試してみます。 Apache チュートリアル: Server Side Includes 入門 - Apache HTTP サーバ バージョン 2.4 目次 環境 AddOutputFilterを使って、shtmlファイルのみSSIを有効にする AddOutputFilterを使って、shtml・htmlファイルでSSIを有効にする XBitHack onを使って、htmlファイルのみでSSIを有効にする XBitHack onを使って、html・shtmlファ
Docker + Alpine3.5 + Apache2.4 + Python3.6で、フォームのデータを標準モジュールcgiで受け取ってみた - メモ的な思考的な
前回、フォームのデータをCGIのPythonスクリプトでsys.stdin.read()とos.environを使って受け取りました。 Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをCGIで受け取ってみた - メモ的な思考的な 今回は標準モジュールcgiにあるFieldStorage使ってデータを受け取ってみます。 目次 環境 cgi.FieldStorageを使ったフォームデータの受け取り データの読み込み FieldStorageの属性やメソッド フォームのフィールド値の取得 同じnameを持つ複数フィールド値の取得 cgi.FieldStorageを使ったアップロードファイルの受け取り ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpine3
Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをCGIで受け取ってみた - メモ的な思考的な
以前、DockerでCGIを動かしてみました。 Dockerで、Alpine3.4 + Apache2.4.25 + Python3.6.0の環境を作って、CGIを動かしてみた - メモ的な思考的な 今回は、Dockerで、Alpine3.5 + Apache2.4 + Python3.6の環境を作って、フォームのデータをPythonのCGIで受け取ってみます。 目次 環境 Dockerfile作成 HTMLフォームの作成 CGI用のPythonスクリプトを作成 CGI用のPythonスクリプトのパーミッションを変更 Dockerの起動 フォームでGET フォームでPOST その他悩んだこと Dockerfileの中で、共有ディレクトリのパーミッションを設定する方法 ソースコード 環境 Mac OS X 10.11.6 Docker for Mac 17.03.1-ce-mac5 Alpi
PycharmのインタプリタとしてDockerコンテナのpythonを使用する - Qiita
こんにちはsekitakaです。 本番だけでなく、ローカル開発環境のPycharmのRunコマンドでもプログラムをDockerコンテナ上で実行できるといいですよね。 本番と同じ環境のDockerコンテナが使用できればハマりも減ることでしょう。 今回はPycharmのインタプリタをDockerコンテナ上のpythonにする方法の紹介です。 設定方法 python実行環境のイメージを取得する コンテナに使用するイメージを取得してます。今回は例なのでDocker Hubのpython3環境を使っているだけです。 実際は使用するイメージをそれぞれの開発に最適化されたイメージにするのがベストです。 設定確認 Preferences > PluginsでDocker integrationが有効になっていることを確認してください。 Pycharmのインタプリタ設定をDockerのものにする Prefe
DockerコンテナでFlaskを起動し, JSONデータのPOSTとGET - Qiita
仕様 ターミナルからcurlコマンドでjsonデータを送ると, 文字列が成型されて, 同じくjson形式でデータが返ってくる. 環境 Mac OS X 10.12 Docker for Mac 17.03 多分Linuxでも同様にできます. 1. Flask起動スクリプトの用意 Pythonの軽量WebフレームワークであるFlaskをつかって作成します. @app.route()で指定されたディレクトリにアクセスすると, defで定義したメソッドが起動し, returnで結果を返す, という流れです. from flask import Flask, jsonify, request import json app = Flask(__name__) @app.route("/", methods=['GET']) def hello(): return "Hello World!" @a
Dockerのビルド時にプライベートリポジトリをpip install - Qiita
要件 Docker ビルド時に, github, BitBucket 等のプライベートリポジトリのライブラリを pip install したい 条件 プライベートリポジトリにアクセスするための鍵は $HOME/.ssh 以下にある 案1 ローカルで wheel 作成して Dockerfile でコピー pip wheel djando (django はプライベートじゃないけども) 良い点 鍵問題と Docker を切り離せる イメージをビルドし直す際に wheel を使いまわせる 問題点 ライブラリのビルドをローカル環境で行うためコンテナ内の実行環境と合わない可能性がある 例1: Django を wheel で取得した場合 -> Django-1.8.1-py2.py3-none-any.whl python2-3 互換性があり, OS 非依存(any) こちらの場合なら問題ないが,
Docker + Django + uWSGI + nginx PyCharm開発環境(&本番環境用ファイル)を作る - Qiita
PyCharm 2016 の Docker サポートの使い勝手が良いです。 Docker で開発環境を作るのは初めてだったのですが、 ローカル ( mac ) は Docker Toolbox を使って開発環境を作る。PyCharm のデバッガでステップ実行できるようにする。 ソースコード、およびログディレクトリは Docker イメージの中に入れず、ホストのディレクトリをマウントして使う 公開サーバを見越して uwsgi, nginx の設定も作っておく という所までできたので、手順を書きます。 コード置いてあります。 https://github.com/ytyng/docker-django-skeleton こちらを参考にしました。https://github.com/dockerfiles/django-uwsgi-nginx 必要アプリのインストール PyCharm v2016
Ruby Business Users Conference で Ruby-Python 間ブリッジの PyCall について現状報告をしました - Speee DEVELOPER BLOG
開発部 R&D グループで研究開発をしている CRuby コミッターの村田 (mrkn) です。 2/23 に渋谷で開催された Ruby Business Users Conference 2017 *1 でキーノートスピーカーとして講演をさせていただきました。 内容は、Ruby で統計分析や機械学習ができない現状についての解説と、その状況を打破するために私が現在開発を進めている pycall.gem のデモンストレーションでした。 カンファレンス当日に使用した資料は私個人の Speaker Deck で公開していますので、そちらをご覧ください。 カンファレンスの発表後、当日カンファレンスで一緒だった YassLab の安川さんがデモ部分の動画を facebook で公開し、twitter で拡散してくださいました。 .@mrkn さんの PyCall を使ったデモがスゴい！😆 #RBU
「VirtualBox + Ubuntu 16.04 LTS + DockerでPython3の開発環境構築」の雑録 - superHoge’s diary
得られた重要な知見 ・DockerでPython3の開発環境を構築することができた ・Dockerfile：myDockerfile/my_python_dev_env at master · hyperSuperHoge/myDockerfile · GitHub ・ただし、わざわざDockerまで導入する必要はなく、Miniconda3がすべて解決してくれる ・でも、Dockerを使えるようになったのは収穫だ 背景 ディープラーニング学習 Pythonの開発環境が欲しくなった 2.x系と3.x系とで結構違うらしい 環境変数やパッケージ管理も要注意 http://qiita.com/y__sama/items/5b62d31cb7e6ed50f02c 手元にはWindows10 & Cygwin のマシン 現環境を汚したくない VirtualBox + Ubuntu 16.04 LTS
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
docker runでpipenvを使ったpythonプロジェクトを動かす - Qiita
Flaskで作成されたWebアプリの動作確認ができるDocker Imageを作成した. - 202号室の手記
python_web_docker.md
Python print の内容が docker logs に見えない件について - Qiita
Early Access Program (EAP) - PyCharm