NextremerをScale upする機械学習環境 Shiva - Qiita
Nextremer Advent Calendar 2017 3日目の記事です Nextremer ではお手軽にGPUマシンを利用できる Shiva という機械学習の開発環境を構築しています 今回はその Shiva の開発に至った経緯とその仕組みをご紹介します Shiva の開発にあたっては、昨年RettyのCTO樽石さんが公開された Retty流『2200万ユーザを支える機械学習基盤』の作り方 を大いに参考にさせて頂きました このような貴重なノウハウを公開されていることは本当に素晴らしいですし、この記事がなければ私が Shiva を開発することはなかったです そんな樽石さん、Rettyさんへの尊敬と感謝の思いを込めて、Nextremerの Shiva についてのノウハウを公開します！ Shiva 開発に至った経緯 Nextremer の研究開発PJでは深層学習を利用した自然言語処理、強化
DockerでJupyter - Qiita
Dockerのバージョン Version 17.03.1-ce-mac5 (16048) Channel: stable b18e2a50cc Docker Image continuumio/anaconda3 コマンドラインから起動する方法 「-v ~:/opt/notebooks」によってMacのホームディレクトリがノートブックのホームディレクトリとなります docker run -v ~:/opt/notebooks -i -t -p 8888:8888 continuumio/anaconda3 /bin/bash -c "/opt/conda/bin/conda install jupyter -y --quiet && /opt/conda/bin/jupyter notebook --notebook-dir=/opt/notebooks --ip='*' --port=8
EC2+DockerでJupyter Notebookを動かす part2
前回はEC2インスタンスを作成し、Dockerをインストールしました。 今回はJupyter NotebookをDocker上で動かし、 EC2インスタンスのネットワーク設定をいじることで 外部からJupyter Notebookへアクセスできるようにします。 Jupyter NotebookのDockerイメージ取得・起動 まずはJupyter NotebookのDockerイメージを取得します。 docker pull jupyter/datascience-notebook Jupyter Notebookのイメージ取得ができたことを確認します。 docker images jupyter/datascience-notebook REPOSITORY TAG IMAGE ID CREATED VIRTUAL SIZE jupyter/datascience-notebook lat
DockerでJupyterLabを構築する - Qiita
動機 Pythonでデータ分析をする環境が欲しいだけなのに、なんちゃらenvとかやってるうちに気力が萎えてしまう 2018年03月追記 Colaboratory という素晴らしいサービスが出ております。ちょっと触るくらいなら断然こちらが簡単です！ https://colab.research.google.com/ 前提 既にdockerとdocker-composeが使えるようになっているとします。 手順 FROM jupyter/datascience-notebook MAINTAINER Kenta Mukai RUN pip install jupyterlab RUN jupyter serverextension enable --py jupyterlab 追加でインストールしたいpythonのライブラリがあれば、 RUN pip install jupyterlab の下
Jupyter on Dockerでパスワードの設定方法が分からないあなたへ - Qiita
はじめに 機械学習試したい→Tensorflowでしょ Web上でインタラクティブに試したい→Jupyterでしょ 手軽にインフラ構築したい→Dockerでしょ ってことで、やってみたけど、パスワードどこで設定するねんって詰まっちゃったので、その解法書いておきます 想定読者 下記に当てはまる人 インフラエンジニアだけど機会学習試したい Docker最近触ってるけど詳しくわからん Pythonちょっと触ってるけどあんま知らん Jupyterいいんちゃう？知らんけど Dockerを使う理由 基本的に今持ってるMacBook Airで試せるならしたいけど、明らかにリソースが足りない。 なので、がっつりやるならAWSやGCPなどのクラウド上がベスト解です。 ローカルであたりをつけてからクラウドへ持っていきたいので、それが一番楽で、かつ最近流行ってるものと言えば、そう、Dockerです。 Jupyt
DockerでJupyterをさくっと立ち上げる（対象言語:Anaconda/Ruby） - Qiita
この記事の目的 ローカルでJupyterをさくっと立てて分析をしたり、簡単なスクリプトを書きたい時にはDockerを使うと便利です。その方法をまとめました。 Jupyter上で扱う言語はAnacondaとRubyを対象としています。 前提 Dockerがインストールされていること。 Anacondaを使う場合 Jupyterが公式で提供しているDockerイメージを利用します。 jupyter/docker-stacks - Github 色々なバージョンがあるのですが、今回は分析用のライブラリが一式入っているdatascience-notebookを使います。 ローカルなので認証Offの状態で立ち上げます。（サーバ上で起動する場合は認証掛けたほうがいいと思います） また、分析対象のデータがあるディレクトリで docker run すればそのままデータが使えるように、Jupyterのwor
Dockerで分析環境構築(jupyter notebook + PostgreSQL) - Qiita
本記事では Dockerを利用したデータ分析環境の構築 docker-composeでのpythonとpostgresqlの接続確認 を行っています imageについて postgresqlについては、公式のDockerイメージを利用しています。 anaconda環境は、自作のイメージをベースにしたDockerfileを作成しています。 FROM kyobad/anaconda3-alpine MAINTAINER K.Kato RUN conda install -y seaborn psycopg2 networkx\ && pip install chainer WORKDIR /root/notebook CMD ["/bin/sh", "-c", "jupyter notebook --no-browser --port=8888 --ip=0.0.0.0"] こちらは、anac
Dockerで作るJupyter Notebook開発環境 - Qiita
研究室リモートサーバ上にJupyter Notebook環境を作ったら色々と捗ったのでその紹介です。調べながらやったら色々と詰まったので情報を残しておこうと思います。 捗ったこと 研究室リモートサーバの高スペックな計算資源を使える Webブラウザ上から簡単にアクセスできる よく使うもの(numpyとかmatplotとか)がはじめから入っている Dockerとりあえず使ってみたアピールができる 研究室リモートサーバの環境 Ubuntu 16.04.1 LTS (GNU/Linux 3.13.0-24-generic x86_64) グローバルIPが付与されている Dockerのインストール まずこのへんを参考にしつつ，UbuntuにDockerをインストールします。また，dockerは一度立ち上げたらその後はWebブラウザから利用するので， などとして，daemonとしてdockerを起動し
ubuntuにdockerをインストールしjupyterからtensorflowを動かす方法 | Linuxから始める先端IT
December 07, 201617:24 ubuntuにdockerをインストールしjupyterからtensorflowを動かす方法 カテゴリtensorflowUbuntu Fire Comment(0) Tweet 機械学習やディープラーニングが近年流行っていますが、それがどういったものでどう使うのか気になっている人は少なくないと思います。 この記事は、ディープラーニングをまだやったことない人が勉強する際の環境を作るの手助けをするためのものです。 今回の内容としては ubuntu(linux)上にdockerをインストールし、そのdockerのコンテナを使ってディープラーニングのフレームワークであるtensorflowの使い方などをjupyterというpythonノートブックを使って学んでいくための環境づくりです。 実行したubuntuのバージョンは16.04です。 では、続きか
Jupyter Notebook on DockerでVim keybindsを利用する - Qiita
3行まとめ $(jupyter --data-dir)../../と$(jupyter --config-dir)/nbconfigをvolumeとして永続化・マウント lambdalisue/jupyter-vim-bindingを配置 $(jupyter --config-dir)/nbconfig/notebook.jsonでvim_binding読み込み はじめに 本記事ではDockerコンテナで動作しているJupyter Notebook上で，vim_bindingを利用しVimのKeybindを有効にする方法について説明する． Jupyter Notebookについて本記事では説明を省略する．その素晴らしさ，および使い方等については『現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ - クックパッド開発者ブログ』『Jupyter事始め - Qiit
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
【初心者向け】MacでDockerを使ってTensorFlowを試す(Jupyter Notebook) - Qiita