【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
AWS LambdaをDocker化する際の注意点と学びの備忘録 - Qiita
はじめに AWS Lambdaを使ってデプロイするときに、 Dockerイメージを使って、デプロイしたいケースがありました。 すでに、動いているLambdaをLambda Dockerへ変更する際に、 つまずきポイントがあったので、備忘録として、残しておきます Lambdaでコンテナイメージを利用とは？ Lambdaには、通常のLambda(ソースコードのみを記述するタイプ)と Dockerイメージを利用するパターンが存在する ※Dockerイメージは、ECRから参照し、Lambda上で実行が出来る なぜDockerイメージを使うのか？ 通常のLambdaとLambda Dockerには、仕様の一部に違う部分が存在している 今回、Lambda Dockerを利用したいと考えたのは、 通常のLambdaよりも、大きいパッケージを展開できる為 ●Lambda 50 MB (圧縮、直接アップロー
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場
Web版VSCodeがDockerコンテナをWASM環境で起動、Webブラウザ内ローカルマシンとして利用可能に。拡張機能「vscode-container-wasm」登場 WindowsやMacなどのデスクトップPCでVisual Studio Code（以下VSCode）を利用して開発をする場合、同じローカルマシン上でDockerコンテナのLinux環境を起動し、VSCodeのターミナルで接続して操作することは、開発環境としてよくあることだと思います。 これと同じことをWebブラウザ版のVSCodeでも実現する、すなわちWeb版VSCodeが同一Webブラウザ上にWebAssembly化したDockerコンテナを起動し、Web版VSCodeからローカルマシンとして接続し利用できる、実験的実装を実現したVSCodeの拡張機能「vscode-container-wasm」が登場しました。 V
MacでDocker DesktopやWSLのようなコンテナ/仮想マシン環境を実現する「OrbStack 1.0」リリース
MacでDocker DesktopやWSLのようなコンテナ/仮想マシン環境を実現する「OrbStack 1.0」リリース Mac上でDocker Desktopのように手軽にコンテナ環境を構築し、またWindowsのWindows Subsystem for Linux（WSL）のようにmacOS上にLinux仮想マシン環境を構築できるソフトウェア「OrbStack 1.0」がリリースされました。 Introducing OrbStack 1.0: the fast, light, easy way to run Docker containers & Linuxhttps://t.co/wGGy4J16h0 pic.twitter.com/BVdABDyf01 — OrbStack (@OrbStack) September 21, 2023 OrbStackはコンテナエンジンとしてD
GitHub Actions のストレージ空き容量を限界まで拡張する
name: Container deploy on: release: types: [published] concurrency: group: ${{ github.workflow }}-${{ github.ref }} cancel-in-progress: true env: REGISTRY: ghcr.io IMAGE_NAME: pinto0309/test jobs: docker-deploy: runs-on: ubuntu-22.04 permissions: contents: read packages: write steps: - name: Git checkout uses: actions/checkout@v3 - name: Enable buildx uses: docker/setup-buildx-action@v2 - name: Ch
A Modern C Development Environment
Sometimes, C/C++ projects have a long development cycle. When working on such a project, it can be easy to take our development environment for granted, and forget about the effort invested in its bring-up. The build environment works like magic, the test framework is neatly integrated, and the CI/CD pipeline relieves us of tedious, repetitive tasks. For me, all it took was a simple thought: How d
【早い！安い！うまい！】VSCode+WSL+Dockerで簡単に開発環境構築 - Qiita
三種の神器 今やWSL,Docker,VSCodeは使えて当たり前という雰囲気になってきたので、初心者のためにすごく適当簡単に導入手順をまとめたよ 卍最強の環境卍を構築するため以下の4ステップで解説するよ WSL2の導入 Dockerの導入 VSCodeの設定 使ってみる 1. WSL2の導入 そもそもWSLって何？という方もいらっしゃると思いますが、Windows内でLinux環境を使うことができるぜということだけ覚えておけばOKです 導入についてはPowerShellで以下コマンドを実行するだけ！ インストールしたらPCのスタートメニューからUbuntuを開き、ユーザ名とパスワードを設定しよう (Ubuntuを開くだけでユーザ名とパスワードを作成するための入力が求められます) WSLを真面目に知りたい方はこちら↓ https://learn.microsoft.com/ja-jp/wi
Red Hat、ローカルマシンにコンテナとKubernetes環境などを構築する「Podman Desktop 1.0」正式リリース
Red Hat、ローカルマシンにコンテナとKubernetes環境などを構築する「Podman Desktop 1.0」正式リリース Red Hatは、ローカルマシンにLinuxのコンテナとKubernetes環境を手軽に構築できる「Podman Desktop 1.0」を正式リリースしました。 Windows、macOS、Linuxに対応し、デスクトップアプリケーションからコンテナエンジンのPodman、Docker、OpenShift Localなどを簡単にインストールでき、最新の状態に保つことができます。 コンテナの実行やKubernetesの操作など Podman Desktopの主な機能は以下の通り。 コンテナとポッド関連 コンテナとポッドのビルド、ラン、マネージ、デバッグ Kubernetes上もしくはKubernetesなしでのポッドの実行 内蔵のターミナル機能でコンテナへの
ローカルPCでセルフホストできてGithub Copilotのように使えるコーディング補助AI「tabby」、Dockerイメージありなので早速使ってみたレビュー
Github Copilotのコーディングアシスト性能は目を見張るものがありますが、データを社外に持ち出せないなどの都合で泣く泣く使用を諦めている人も多いはず。そうした状況のなか、ローカルのPCでセルフホスト可能なコーディングアシストツール「tabby」が登場しました。 GitHub - TabbyML/tabby: Self-hosted AI coding assistant https://github.com/TabbyML/tabby tabbyはDockerから簡単に起動することが可能とのこと。Dockerのインストール方法については下記の記事の前半に詳しく記載してあります。 画像生成AI「Stable Diffusion」にたった数枚のイラストから絵柄や画風を追加学習できる「Dream Booth」が簡単に使える「Dreambooth Gui」レビュー - GIGAZINE
自宅で動くChatGPTと噂のFlexGenをDockerで手軽に動かす
自宅で動くChatGPTと噂のFlexGenを試す shi3zさんが興奮して動かしていたFlexGen 関係する記事は以下 ツヨツヨGPUが無いと動かないと思っていたのですが、タイムラインでミクミンPさんが、RTX3060でFlexGenを動かしているツイートを発見。 「RTX3060なら自分も持っている！」ということで、試してみることにしました。 追記： 私がこの記事で動かしているのは小さいモデルです。とりあえずお試しで動かしただけで、shi3zさんが動かしているモデルとは異なります。 性能の参考にする記事ではないので、ご承知ください。より大きいサイズのモデルの使用に関しては、FlexGenの公式リポジトリを参照ください。私も今後試したら追記していきます（現状、私の環境では動かせてないです）。 FlexGenをDockerで動かす 結果的には、Dockerを使うことで簡単に動かせました。
第723回 複雑なコマンドパイプラインを簡単に組み立てる方法 | gihyo.jp
パイプライン処理とは GUIは非常に直感的です。はじめて使うアプリであっても、なんとなくそれなりに動かせてしまうという点で、優れたインターフェイスと言えます。しかし効率を突き詰めると、軍配が上がるのはGUIよりもCLIでしょう。本連載の読者であれば、UnixライクなOSのCLIが持つパワーについては当然ご存知かと思います。 とはいえ、古典的なUnixコマンドの多くは、単体ではそれほど強力なものではありません。というのも、ひとつひとつのコマンドはシンプルに、特定の用途においてのみ上手く動作するよう設計されていることがほとんどだからです。こうしたコマンド群に無限のシナジーを与えるのが「パイプライン処理」です。標準入出力を通じて複数のコマンドを直列に繋げることで、複雑な処理をインスタントに組み立てることができるパイプラインは、まさにUnix哲学の体現であり、CLIの真髄はここにあると言ってもよい
Installation Guide - RAPIDS Docs
Installation Troubleshooting Conda Issues A conda create error occurs: To resolve this error please follow one of these steps: If the Conda installation is older than 22.11, please update your Conda or Miniconda to the latest version. This will include libmamba, a Mamba-powered Conda solver that is now included with all Conda/Miniconda installations to significantly accelerate environment solving.
待ってました CUDA on WSL 2 - Qiita
最新情報 (2022-06-15 時点) エヌビディアの佐々木です。 2020 年 6 月にこの記事を書いて以来、Windows Insider Preview や NVIDIA ドライバの新しいビルドが出たタイミングなどで記事を更新してきましたが、あちこちに注釈が増えて読みづらくなってきたので、今後はこの「最新情報」セクションに新しい情報を集約しようと思います。あと、更新履歴は記事末尾へ送りました。 私が動作を確認したバージョン Windows のビルド: 22621.1 (Windows 11 バージョン 22H2) NVIDIA ドライバ: 512.95 nvidia-smi コマンドの GPU-Util 欄が "N/A" になってしまう問題は解決！ 実行した NGC コンテナイメージ nvcr.io/nvidia/tensorflow:22.05-tf2-py3 Docker De
ローカルとdockerコンテナ側のUID,GIDを揃える - やる気がストロングZERO
dockerコンテナを使ってローカルで開発作業をするとき、local側のディレクトリとコンテナ側のディレクトリを共有してコンテナ側で生成されるファイルを永続化したりする事がある。 このとき、コンテナ側で生成されたファイルがroot権限で作成されたりするとlocal側での取り扱いがめんどくさい。（sudoしないとファイルを削除できなかったり） ローカル側のUID, GIDとコンテナ側でのUID, GIDを揃えられるようにDockerfileやdocker-composeを用意しておくと、このあたりがスムーズに行くようになる。 #Dockerfile FROM ubuntu:20.04 ARG USERNAME=app ARG GROUPNAME=app ARG UID=1000 ARG GID=1000 RUN groupadd -g $GID $GROUPNAME && \ useradd
Dockerfileのベストプラクティス８選
はじめに Dockerfileを書く上で、Docker社の推奨するベストプラクティスを８つにまとめました。 ベストプラクティスに従うことによって、簡単・安全・効率的な、Dockerfileの作成を目指します。 Dockerのガイドライン コンテナは、必要最小限（エフェメラル）であるべき。 Dockerfile で定義されたイメージを使って作成されるコンテナは、可能ならばエフェメラル（短命；ephemeral）にすべきです。私たちの「エフェメラル」とは、停止・破棄可能であり、明らかに最小のセットアップで構築して使えることを意味します。 Dockerfileベストプラクティス 1. Baseイメージは、公式の信頼できるものを使おう 特定の言語などを扱う場合は、公式が言語が入ったイメージを配布してくれている場合が多いので、そちらを使おう。
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
httpbin.org
How to solve "ptrace operation not permitted" when trying to attach GDB to a process?
インフラエンジニアBooks 30分でわかる「Dockerコンテナ開発・環境構築の基本」
お前のDockerイメージはまだ重い💢💢💢