爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りました - Qiita
機械学習の実験における悩みの一つに実験の再現性があります。再現性は実験を共同研究者に引き継いたり、ソフトウェアエンジニアにモデルをデプロイしてもらう時に問題になります。残念ながら、機械学習で利用するライブラリは数も多く、アップデートも頻繁に行われます。そのため動作する開発環境を維持、共有するのは難しい問題と言えます。 そこでデータサイエンティストが実験結果を他人に引き継ぐことを容易にするテンプレート、Cookiecutter Docker Science を作ってみました。このテンプレートは機械学習の実験環境を Docker コンテナ上に爆速で構築できます。仮想環境なのでライブラリ群の不足やバージョンの不一致に悩まされず実験結果を確実にシェアできます。 また Docker でコンテナを作ったり、削除したり設定したりといった作業の煩雑さを低減するための機能を提供しています。そのため、データサ
DockerコンテナでPython3、Jupyterの入ったデータ分析環境を作成 - Hello, Data Science
背景 データ分析コンペに参加した時に、爆速で Docker コンテナにデータ分析環境を生成するテンプレート を作りましたを参考に、DockerコンテナにJupyter notebookが使える環境構築をしたのでその手順についてまとめました。めちゃくちゃ早く環境構築ができるのと、Dockerコンテナを利用することで環境の再現性が出る等のメリットがあります。 プロジェクトディレクトリ作成 cookiecutterのインストール $ pip install cookiecutter プロジェクトディレクトリの作成 $ cookiecutter git@github.com:docker-science/cookiecutter-docker-science.git project_name [project_name]: xxxxxxxxxx project_slug [national_par
Dive into Deep Learning — Dive into Deep Learning 1.0.3 documentation
Abasyn University, Islamabad Campus Alexandria University Amirkabir University of Technology Amity University Amrita Vishwa Vidyapeetham University Anna University Anna University Regional Campus Madurai Ateneo de Naga University Australian National University Bar-Ilan University Barnard College Beijing Foresty University Birla Institute of Technology and Science, Hyderabad Birla Institute of Tech
Beyond Interactive: Notebook Innovation at Netflix
By Michelle Ufford, M Pacer, Matthew Seal, and Kyle Kelley Notebooks have rapidly grown in popularity among data scientists to become the de facto standard for quick prototyping and exploratory analysis. At Netflix, we’re pushing the boundaries even further, reimagining what a notebook can be, who can use it, and what they can do with it. And we’re making big investments to help make this vision a
「Netflixにおける、インタラクティブを超えたNotebook革命」メモ - MyEnigma
Jupyter Cookbookposted with カエレバDan Toomey Packt Publishing 2018-04-30 Amazonで探す楽天市場で探すYahooショッピングで探す 目次 目次 はじめに メモ 参考資料 MyEnigma Supporters はじめに 今回の記事は下記の記事を読みながら、 Twitterを使ってメモしたものです。 medium.com メモ このNetflixのJupyter Notebookの活用法の記事面白いなぁ。久しぶりにTwitterでメモしてみようかな。 https://t.co/1gLA1N20Qk— Atsushi Sakai (@Atsushi_twi) 2018年9月4日 タイトルは「Netflixにおける、インタラクティブを超えたNotebook革命」かな。Notebookはプロトタイピングや、探索的なデータ解析の
Jupyter だけで機械学習を実サービス展開できる基盤 - Tech Blog - Recruit Lifestyle Engineer
こんにちは、CET チームの田村です。データ基盤を構築・運用したり、チャットボット（スマホ用です）を開発したりしているエンジニアです。 皆さん、実サービスで機械学習、活用できていますか？ 正直、難しいですよね。高精度なモデルを作ること自体も難しいですが、実際のサービスにそれを組み込むには、そこからさらに数々の難所が待ち構えているからです。 でも、そのほとんどはエンジニアリングで解消できます。 私たちのチームでは、数年にわたる経験をもとに難所とその対処法を整理し、すばやく成果をあげられる機械学習基盤を開発しはじめました。 本記事では、この基盤の設計とその背後にあるアイデアをご紹介します（機械学習工学研究会の勉強会での発表資料がベースです）。 イテレーションを何度も回せ 基盤そのものの前に、まず機械学習を成果につなげるためのポイントを説明させてください。 私たちは、機械学習の活用において必要な
Deep Learningの学習の様子を可視化する、fastprogressがすごく良さげ - Qiita
TL;DR fastprogressを使うと、Deep Learningのモデルを学習させるとき自動で色々なものを出力してくれてすごく便利 特にjupyter上で学習を回すときにはとても良さそう 実際にfastprogressを使って学習を回すと以下のような感じになる (fastai/fastprogress: Simple and flexible progress bar for Jupyter Notebook and console より) fastprogressでできること 1エポックごとに、損失関数とかmetricsの値を標準出力に出力させたい 学習の進み具合を示すプログレスバーを、上記の標準出力と喧嘩しない形で表示させたい できればリアルタイムで学習曲線の表示もしてほしい... fastprogressを用いると全部実現可能。 これを使えば、少なくともDeep Learni
衝撃のDatalore〜圧倒的な使いやすさを誇るクラウド上のJupyter Notebook - より良いエンジニアを目指して
Dataloreの魅力 blog.jetbrains.com 要はクラウド上で動かせるJupyter Notebookといったところです。 ホーム画面 この手のサービスでは、Google ColaborateryやAzure Notebooksがあります。 それらのサービスがありながらも圧倒的な存在感のあるサービスです。 とにかく、使いやすいです。 JetBrainsはチェコの企業だけあって、どうしても日本では馴染みが薄いと思いますので、この記事を見て、興味を持っていただければ幸いです。 インテリセンス 使いやすさの最大の理由として、JetBrainsならではのインテリセンスが提供される点にあります。 Jupyter Notebookにおいて気になっていた点としては、インテリセンスがない点です。 前に書いたソースをコピペ 真面目に英語のAPI仕様書を見る ということがあります。そうした手間
あなたの生産性を向上させるJupyter notebook Tips | リクルートテクノロジーズ メンバーズブログ
このエントリは全9回を予定する18卒新人ブログリレーの第3回です． はじめまして．今年度よりリクルートテクノロジーズに入社した河野 晋策です． 7月からQassチームにて検索ロジックの改善を行っています． Qassチームは，検索基盤の運用や検索ロジックの改善を行っているチームです． 詳しくは以下の記事をご覧ください． 検索組織の機械学習実行基盤 リクルート全社検索基盤のアーキテクチャ、採用技術、開発体制はどうなっているのか Elasticsearch＋Hadoopベースの大規模検索基盤大解剖 本記事の想定読者：普段Jupyter notebook・Jupyter Lab，Google Colaboratoryを使っている方，またこれから使おうと考えている方 本記事の概要：jupyter notebookの知見共有 はじめに Jupyter notebookとは 近年，データの重要性が様々な
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
Notes from JupyterCon — How Project Jupyter is Enabling Large Scale DataScience
Jupyter だけで機械学習を実サービス展開できる基盤