Dockerで構築する機械学習環境【2024年版】
Dockerを使った機械学習環境の構築方法 株式会社松尾研究所で働いているからあげ（@karaage0703）です。松尾研究所では、機械学習（ここでは、予測モデル、画像認識からLLMまで幅広く扱います）を使う多数のプロジェクトが走っています。プロジェクトの特性は多種多様なので、環境構築方法は様々なのですが、松尾研究所では、環境構築方法の1つとしてDockerを推奨していています。今回はDockerを使った機械学習環境の構築方法を紹介します。 松尾研究所の特にインターン生を想定した記事にはなりますが、他の組織、個人の方にも参考になる部分があるかと思いWebに広く公開させていただきます。 なぜDockerで機械学習環境を構築するのか？ 具体的な手法に入る前に、まずはDockerで機械学習環境を構築する理由から説明したいと思います。説明が不要な方はここはスキップしてもOKです。 そのために、Do
Pythonの開発環境の3つの観点をおさえよう
先日 "Python の「仮想環境」を完全に理解しよう" というスライドを公開したらかなり反響がありました。 Python の開発環境の構築は、正直言ってかなり複雑だと思います。 pip・venv・pyenv・Pipenv などなど、似たような名前・似たような役割のツールがたくさん登場して、最初は全然意味が分かりません。 慣れればなんとかなるのですが、慣れるまではかなり苦しいです。 このようにとても難解であるにも関わらず、Python は機械学習などでよく使われることから、避けられないことも多いです。 そこでこの記事には、「そもそも Python の開発環境にはどんな観点があるんだ？このツールはなにを解決してくれるんだ？」という話をまとめます。
MakefileでDocker+Jupyter Notebookなどの機械学習環境をスマートに扱う - CC56
先日機械学習界隈の方とDockerの話をした際、Makefileを使って機械学習環境の整備をしている人は実は少数派なんじゃないかと感じました。 機械学習で使うコマンドは引数が長く、とても覚えられるものじゃありません。暗記できていてもミスタイプしたり、tmux内とかだと折り返されて何書いてるかよくわからなくなりがち 。Ctrl＋Rとかで検索かけようとしても大体はdocker...から始まるのでタイプ数多くなりがち。 Makefile は、Docker のコマンドをいい感じにまとめやすく、jupyter notebook に使う長ったらしいコマンド jupyter notebook --port 8888 --ip="0.0.0.0" --allow-root なども簡略化できます。そういうわけで、全体的な生産性の向上に繋がると信じています。 今回紹介する Makefile は Docker
C++入門 AtCoder Programming Guide for beginners (APG4b) - AtCoder
プログラミングに詳しい方へ ここから先はプログラミング未経験者の方は読む必要がありません APG4bは多くの一般的な教材とはいくつか違う点があるため、プログラミングに慣れた人がこの教材を見ると色々思うところがあるかもしれません。 ここではこの教材がどのようなコンセプトで書かれているかを説明した後、APG4bがなぜ一般的でないことをしているのかを説明します。 APG4bのコンセプト プログラムとは何のためにあるのでしょうか？ 「便利なアプリを作るため」「ゲームをつくるため」「『人工知能』をつくるため」など、色々あると思います。 これらの具体例は決して間違いではありませんが、プログラミングにはより根源的な用途があります。 それは「計算」です。 コンピュータが開発された当初、その用途は高度な電卓でした。 それから月日が流れ、様々な用途に応用されるようになっても、最終的にコンピュータが行っているこ
Python コードの高速化のアプローチ - Qiita
はじめに こんにちは。こんばんはかもしれません。爲岡 (ためおか) と申します。 2020年4月から株式会社グロービスにて機械学習エンジニアとして働いています。 グロービスでは機械学習技術を利用したプロジェクトや、データ基盤の運用改善プロジェクトを担当しています。 機械学習技術を利用したシステムには様々なものがあると思いますが、 現状のグロービスにおいては、ユーザのリクエストに対して機械学習を行い、 すぐに結果を返す必要があるようなシステムは扱っておらず、 ある程度の時間をかけて学習、推定した結果を非同期にアプリケーションに連携するシステムのみを扱っています。 ゆえに、今のところは機械学習技術を利用したロジックを書くときに、速さを意識することはあまりありません。 一方で、空いている時間に競技プログラミングをやっていることもあり、 高速なコードについて考えたり、書いたりすることは個人的には好
環境音認識のコンペティションDCASE2020で世界1位を獲得しました
LINE株式会社は、2023年10月1日にLINEヤフー株式会社になりました。LINEヤフー株式会社の新しいブログはこちらです。 LINEヤフー Tech Blog DataLabsのSpeech teamに所属している小松です。環境音認識に関する基礎研究を行っています。環境音認識とは我々の身の回りで起こる多種多様な音、たとえば咳や話し声、物音などを機械に自動的に検出・認識させる技術です。この技術は音に関する分野の中で最もホットで急成長しているトピックの一つであり、環境音を専門に扱う国際コンペティション/ワークショップ、DCASEも毎年開催されています。 そのコンペティション部門であるDCASE2020 Challengeのtask 4に、LINEは昨年度のインターン成果 [1] を主軸にした名古屋大学、ジョンズ・ホプキンス大学との合同チームで参加し、世界1位を獲得することができました。本
お父さんは見た！新型コロナウイルスが生んだオンライン教育の下克上
新型コロナウイルスの影響で、子供たちは長らく自宅にいることを余儀なくされており、学習機会は失われつつある。そんな中、いままで遅々として進まなかったオンライン教育への流れがグングン進んでいると感じられる。二人の子供を持つ親の目から、オンライン教育に向けた動きを見ていきたい。 「ベネッセの屈辱」に屈してよかった まずこのコラムを書く私のスペックだが、小学生5年生・高校生1年生の2人の子供を持つ父親で、学校や教育に関しての知識は通常の親と同じくらい。正直、教育関係に精通しているわけではないが、ITに関しては商用メディアで記事を書くくらいの物書きだ。あくまで専門家というわけではない都内在住の一人の親が、インターネット経由で受けられるいわゆるオンライン教育の課題や期待を書くコラムだと思って読んでほしい。 さて、新型コロナウイルスの影響で、うちの2人の子供はほぼ2ヶ月半に渡って在宅である。3月の初旬は
【CV内田真礼】女子高生ハッカーによる、攻撃手法から学ぶ「Webセキュリティ入門編」を無料公開！
【CV内田真礼】女子高生ハッカーによる、攻撃手法から学ぶ「Webセキュリティ入門編」を無料公開！会員数24万人のプログラミング学習サイト「paizaラーニング」の新講座 エムアウトグループで、ITエンジニア向け総合求職・学習サービス『paiza（パイザ）https://paiza.jp』を運営するギノは、環境構築不要・5秒で学習開始できるプログラミング学習サービス『paizaラーニング https://paiza.jp/works』にて、新レッスン「攻撃手法から学ぶハッカー入門（Webセキュリティ入門編） https://paiza.jp/works/lp/hacker 」計6動画を2019年7月30日（火）より期間限定で無料公開いたします。 この動画では、解説キャラクター「涼月美影」役として、人気声優の内田真礼さんをキャラクターボイスに起用いたします。さらに新レッスン公開を記念して、内田
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
フルリモートでできる勉強せざるを得ない環境の作り方