【2024年版】WSL2+Ubuntu24.04+Docker＋GPUでつくる機械学習環境
はじめに WSL2（Windows Subsystem for Linux 2）は、Microsoft Windows上でLinuxカーネルを直接実行できるようにする機能です。 この記事ではWSL2環境にDockerを導入しGPUを用いた機械学習環境を構築する手順を紹介します。 構築イメージは以下の図の通りです。NvidiaGPUを搭載したマシンにWSL2環境を構築します。Dockerを用いてコンテナを用意し、CUDAは各コンテナ内のCUDA Toolkitを用いて利用します。 今回開発するPCのスペックは以下の通りです。 Windows 11 Windows version: 22H2 GPU：NVIDIA Geforce RTX 3060 12GB 設定 1. WSL2を有効化 デフォルトではWSL2環境が無効化されている可能性があるので、始めに有効化しておきましょう。 「コントロール
作業環境をDockerfileにまとめて、macOSでもLinuxでもWSL2でも快適に過ごせるようになった話
こんにちは、CLI生活至上主義？の、 ひのしば です。 まぁ、至上主義というのは、ちょっと言い過ぎかもしれませんが、screen, vim, mutt, newsboat, pass, あとは、gitやssh 辺りを使う生活をしており、1日の作業がこれだけで完結するような事もあるような生活を送っています。 さて、そんな私が、ワークステーションサーバに、macOSや、Windows, Linuxから接続して操作するといった構成から、 作業環境をDockerfileにまとめ、手元で上がる環境をdockerコンテナへ統一し作業する構成とした話を紹介します。 この環境は、ここ数ヶ月、不自由なく使えている事もあり、自身の整理のためにも、どのような点が気になって対応したのかを挙げていきます。 詳細は下部に記載する通りですが、 例えば、dockerfile上のuidの問題に気をつける点、Linuxとma
Talos Linux
What is Talos Linux?Talos Linux is Linux designed for Kubernetes – secure, immutable, and minimal. Supports cloud platforms, bare metal, and virtualization platformsAll system management is done via an API. No SSH, shell or consoleProduction ready: supports some of the largest Kubernetes clusters in the worldOpen source project from the team at Sidero Labs
Docker + Mac どうする問題 - Mirrativ Tech Blog
Mirrativバックエンドのエンジニア @stakme です！ みなさんMacでDockerしてますか？今回は私から、Mac+Docker開発についての文章をお届けします。Docker Desktop for Macの有料化など、最近話題の多いところですよね。 ただし法的問題を含みますので、記事の正確性に配慮していますが、内容は保証しません。法的問題は弁護士に相談しましょう。 tl;dr まずは現状認識 必要なのはdockerd 困りがちなポイント Lima Linux バインドマウント ポートフォワード 結局どうするか あと6週間 We are hiring! tl;dr 大前提として「GUIを使わければMac版Docker Desktopは無料」ではない Docker Desktop for Macは便利だが、マウント起因でパフォーマンスに影響を受けるケースも存在する 「買わないなら
macOSでもWSLみたいなLinux環境を手に入れる - Qiita
macOSでもLinuxの仮想環境が欲しい時はある Dockerを利用するなど、macOSであってもLinux環境が欲しい時はあります。 Microsoft365や、Adobe CCなど、macOSかWindowsでしか使えないプロプライエタリなソフトウェアを使う、開発もほとんどの場合macOSネイティブで問題ない、でもDockerも使う、などのように主たる作業はmacOSでやりながらLinuxもちょっと使わないといけないということは多々あります。 VirtualBoxなどを利用することによって、仮想環境にLinuxをインストールし利用することはできますが、WindowsにおけるWSL (Windows Subsystem for Linux) のようにネットワークやファイルシステムが統合されたように見える環境を構築するのは面倒です。 そこで、"macOS subsystem for Li
AWS、コンテナ実行に最適化したLinux OS「Bottlerocket」正式版リリース
Amazon Web Services（AWS）は、コンテナの実行に最適化したLinuxベースのOS「Bottlerocket」正式版のリリースを発表しました。 Bottlerocketは一般的なLinux OSが備えるさまざまな機能のなかから、コンテナの実行に必要な機能だけを残して徹底的にスリムダウンし、セキュリティなどを強化したLinuxベースのOSです。Pythonなどスクリプト言語の実行系はもちろん、シェルやSSHも省かれています。 Linuxカーネルとコンテナの実行に必要な最小限のソフトウェアで構成されるため、性能上のオーバーヘッドが小さくなっているだけでなく、セキュリティの脆弱性につながるような外部との境界面も小さくなっています。 ブート時には自己の整合性をチェックして起動。SELinuxの強制アクセス制御により、Bottlerocket自体への変更も特権コンテナからの変更のみ
AWS、コンテナに最適化したLinuxベースのOS「Bottlerocket」をオープンソースで公開
Amazon Web Servicesは、コンテナ実行専用に開発されたLinuxベースのOS「Bottlerocket」をオープンソースで公開したことを明らかにしました。 Running containers on Amazon EC2? Try the new Bottlerocket OS purpose built to run containers. https://t.co/0tnx2nk1HB pic.twitter.com/GPuWWB9N90 — Amazon Web Services (@awscloud) March 10, 2020 一般的なLinuxディストリビューションで提供されているOSはコンテナ環境に最適化されているわけではないので、コンテナの実行には不要なソフトウェアが含まれていることなどによるストレージやメモリのオーバーヘッドや、不要なネットワークポートが
WSL2で困ったときに使う魔法の呪文 - Qiita
絶対だいじょうぶだよ 引用：Windows 7、Linuxのリーナス・トーバルズも太鼓判 みなさん。WSL2使ってますでしょうか。 WSL2とは2019年5月に「Build 2019」で発表された、Windows Subsystem for Linuxのアップデート版です。 ざっくりというとMS公式が作ったWindows上で動くLinuxです。 正直、こういうものは昔からあり、眉唾ものだったのですが、WSL2あたりから、dockerが正常に動作するようになり、開発環境として常用するようになりました。 そこで、私が半年使ってきた中で、WSL2関連でどういう問題が発生したのか、どういう解決をしたのか。そのあたりを紹介したいと思います。 それらの問題は、大体1つの魔法の呪文でなんとかなります。 apt-getが失敗する ピーリカピリララ ポポリナペーペルト！ なんかapt-getが失敗する とい
Dockerコンテナが遅くなるもう一つの原因 | POSTD
前回の ブログ記事 では、Kubernetesの話と、 ThoughtSpot がKubernetesを開発インフラのニーズに合わせてどのように取り入れたかをご紹介しました。今回はその続報として、最近の興味深いデバッグ経験について少々駆け足になりますがお話ししていきます。本記事も「コンテナ化と仮想化はノットイコールである」という事実に基づいており、たとえcgroupの上限がどれも高くない値に設定されホストマシンで十分な演算能力が利用できるとしても、コンテナ化されたプロセス同士がリソースの競合を起こす場合があることを示したいと思います。 ThoughtSpotでは内部のKubernetesクラスタで 多数のCI/CDや開発関連のワークフロー を稼働させており、ある1点を除いては全てが順調でした。唯一問題だったのは、ドッカー化された製品コピーを起動すると、パフォーマンスが期待を極端に下回るレベ
Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017
Docker、「LinuxKit」を発表。コンテナランタイムのためだけにゼロから開発されたセキュアなLinux Subsystem。DockerCon 2017 Dockerは、コンテナの実行に必要な機能に特化したLinux Subsystem「LinuxKit」を、テキサス州オースチンで開幕した同社のイベント「DockerCon 2017」で発表しました。 Linux Subsystemとは、例えばWindows 10のbash機能がWindows 10内部に用意されたLinux Subsystemで実現されているように、システムの一部として組み込まれて動作し、Linuxの機能を提供するコンポーネントを指す一般名称です。 つまりLinuxKitとは、コンテナプラットフォームに組み込まれてLinuxの機能を提供するコンポーネントということになります。 Linux Foundationなどと
Dockerコンテナに特化した「RancherOS」正式版リリース。Linuxカーネル上でDockerを実行、システムもユーザーもすべてをコンテナ空間に
Dockerコンテナに特化した「RancherOS」正式版リリース。Linuxカーネル上でDockerを実行、システムもユーザーもすべてをコンテナ空間に RancherOSは単にコンテナの実行に関係ないライブラリなどを省略してLinux OSをスリムダウンするだけではなく、Linux OSの構造そのものをコンテナ専用にしようというアプローチを採用しています。 その最大の特徴が「Everything in RancherOS is a container managed by Docker.」（RancherOSのすべてはDockerが制御するコンテナ内にある）というものです。 下記のRancherOSの仕組みを示した図にあるように、Linuxカーネル上でDockerを実行し、ntpd、syslog、consoleといったシステム関連のプロセスはこの「System Docker」が制御するコ
シェルスクリプトで書かれた軽量コンテナ MINCS がすばらしい (1) - TenForward
これはだいぶ前に書いたエントリです。MINCS作者による最新の解説があるのでそちらもご覧ください。 (2016-11-21追記) コンテナは使いたいけど、たくさんコンテナを起動すると結局それぞれのコンテナに対するセキュリティアップデートなどのメンテナンスは必要だし、コンテナ内独自のプログラムやライブラリ以外はホストと共有したいよね、って話が出てきたりします。みんな考えることは同じで、bind mount を使えば良いよね、って話はでてきてました。 こないだもブログで紹介した kazuho さんの jailing 私が LXC でも結構簡単にできるよ、っていう提案を兼ねて作った lxc-bind こないだのLinuxConでもDockerでたくさんのオプションを並べて、色々工夫して bind mount を使ってやってる発表もありました (Using Docker for existing
CoreOSに入門した
CoreOS is Linux for Massive Server Deployments · CoreOS CoreOS + Docker Meetup Tokyo #1に参加してCoreOSにめっちゃ感動したので，CoreOSに入門していろいろ触ってみた． まず，CoreOSの概要とそれを支える技術について説明する．次に実際にDigitalOcenan上にVagrantを使って実際にCoreOSクラスタを立てて，CoreOSで遊ぶ方法について書く． CoreOSとは何か CoreOSは，GoogleやFacebook，Twitterといった企業が実現している柔軟かつスケーラブル，耐障害性の高いインフラの構築を目的としたLinuxディストリビューションである．軽量かつ使い捨てを前提にしており，クラウドなアーキテクチャのベストプラクティスを取り入れている．CoreOSの特徴は大きく4つ挙
Dockerのための軽量OS「Red Hat Enterprise Linux Atomic Host」、Red Hatが発表
Dockerのための軽量OS「Red Hat Enterprise Linux Atomic Host」、Red Hatが発表 Red Hatは、Dockerコンテナの運用に最適化した軽量なOS「Red Hat Enterprise Linux Atomic Host」を、今年リリース予定の「Red Hat Enterprise Linux 7」と合わせてリリースすると発表しました。 Red Hat Enterprise Linux Atomic Hostは、Red Hat Enterprise Linuxの派生OSであるため、Red Hat Enterprise Linuxと同レベルの信頼性、セキュリティ、使い勝手などを備えつつ、Dockerのコンテナの実行や運用に絞って軽量化することでオーバーヘッドを小さく、さらにパッチなどの運用の手間を小さくするとしています。 Dockerとの相互運
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/whalebrew/whalebrew/blob/master/README.md