Jupyter(Python)とBigQueryによるデータ分析基盤のDevOps #pyconjp // Speaker DeckPyCon JP 2017 の発表資料です。ジャンルは「業務利用事例」となります。 追記1. PyCon JP 2017 ベストトークアワード優秀賞を受賞しました！ 追記2. http://yuzutas0.hatenablog.com/entry/2017/09/12/203000 に補足を掲載しています！
【画像で説明】VSCodeをJupyter化する ~.pyファイルをセル単位で実行~ - Qiita
やること VSCode上で.pyファイルをJupyterみたいに表示させてみます。 ↓VSCode上でこんな感じで表示させたい。 ※これはJupyterLabです。 なにがうれしいの？？ VSCodeの機能をつかえる Jupyterのカスタマイズに時間をとられなくてすむ 追記： ※ 現在のVSCodeでは.ipynbファイルを認識できるようになっていますが、vscodevimが動かないのでvim記法を使われる方はこちらのやり方がおすすめです。 環境 MacOS X 10.14.5 (Mojave) VSCode 1.35.1 前提 VSCodeのインストール 拡張機能のインストール 表示 > コマンドパレット > 拡張と打つ > ビュー：拡張機能を表示する サイドバーの入力欄にpython と打つ > Pythonを選択 > インストール 以前はJupyterという拡張機能をインストールし
Python Jupyter + pandas で DataFrame 表示をカスタマイズする - StatsFragments
先日 pandas v0.17.1 がリリースされた。v0.17.0 に対するバグフィックスがメインだが、以下の追加機能もあるため その内容をまとめたい。 HTML 表示のカスタマイズ Jupyer 上では pandasの DataFrame は自動的に HTML として描画される。この HTML に対して、さまざまな CSS を柔軟に設定できるようになった。 このエントリでは、添付した公式ドキュメントとは少し違う例を記載する。 Style -- pandas documentation @TomAugspurger (コミッタの一人) 作成の Jupyter Notebook 重要 公式ドキュメントにも記載がされているが v0.17.1 時点で開発中 / Experimental な追加のため、今後 破壊的な変更が発生する可能性がある。ご要望やお気づきの点があれば GitHub issu
【Day-6】ゼロからJupyterの達人に！使い方の総まとめ。 - プロクラシスト
こんにちは、ほけきよです。 データ分析ガチ勉強アドベントカレンダー6日目。 当ブログもJupyterに関するメモをたくさん記してきました。 今回は保存版ということで、Jupyterの基礎事項から、ちょっとしたTipsなどを総まとめしておきます。この記事を読めばJupyterの使い心地もかなりUPするでしょう。 事始 コレだけは知っておくべきチートシート 起動 実行 補完 ショートカット % : マジックコマンド ? : イントロスペクション エディタとしてのJupyterをかっこよく グラフのインタラクティブな操作 Jupyterでイケてるプレゼンをする 種々のこと Colaboratory Jupyterhub まとめ 事始 インストール方法、実際に一通り実行してみるところまで行える。 www.procrasist.com コレだけは知っておくべきチートシート 以前自分のQiitaで書い
[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo
インストールされているライブラリ 今後、他のライブラリのインストールやバージョンアップなどをしていくつもりですが、現状以下のライブラリがインストールされています。 tensorflow 0.12.0chainer 1.19.0scikit-learn 0.18.1gensim 0.13.4word2vec 0.9.1numpy 1.11.3pandas 0.19.2jupyter 4.2.1matplotlib 1.5.3mecab latestjuman++ 7.01 もちろん、上記の依存ライブラリやmecab・juman++用のPythonバインディングもインストールされています。 ちなみにOSはUbuntu 16.04です。 使い方 Pullとコンテナにログイン やり方は以下のコマンドのとおりです。jupyter notebookのパスワードもsudoのパスワードも”ml”になってい
![[機械学習]各種Pythonライブラリ入りの実験用Dockerイメージを作った - zuqqhi2 Tech Memo](https://cdn-ak-scissors.b.st-hatena.com/image/square/8a555efc08e2297c4691697aa97868815f023c63/height=288;version=1;width=512/https%3A%2F%2Fzuqqhi2.com%2Fwp-content%2Fuploads%2F2017%2F01%2F20170106_docker_memo4.png)
Pythonを使ったデータ分析に関する内容をJupyter Notebookにまとめ始めました - c-bata web
研究をかれこれ2年半ぐらい続けてきたので、研究をする中で必要になった機械学習の手法について調べたりコードを書いたりしてきたのですが、まだまだ触ったことのない機械学習の手法も多く、研究で必要になる手法以外の知識も付けたくなってきたので、勉強し始めました。 Sphinxにまとめるか悩んだのですが、「ひとまず簡単にスライドにできること」・「手元でもすぐにコードを実行できる」という理由でJupyter Notebookを使用しています。 もし誤りやタイポ等があれば、IssueやPRお待ちしております。 github.com 今のところ↓の2つについてまとめました。 Jupyter Notebook / Numpy / Pandas / matplotlib入門 決定木(Decision Tree) ノートブックの内容一覧 内容については今後何度も変更をすると思いますが、とりあえず今の予定としては下
Jupyter (iPython) Notebookを使って技術ノート環境を構築する方法 - MyEnigma
PythonユーザのためのJupyter[実践]入門posted with カエレバ池内 孝啓,片柳 薫子,岩尾 エマ はるか,@driller 技術評論社 2017-09-09 Amazonで最安値を探す楽天市場で最安値を探すYahooショッピングで最安値を探す 目次 目次 はじめに Jupyter Notebook (iPython Notebook)とは? インストール Notebookデータのバックアップ＆マルチアカウントアクセスする設定 Jupyter Notebookのショートカット コマンドモードのショートカット Editモードのショートカット セルを上から全部実行する Markdownで文章を入力する 数式を入力する 数式の計算をする 画像をドロップアンドドラッグで挿入できるようにする 目次を見出し情報から自動生成する レポートタイトルを入力する方法 PDFに出力する Ma
Pythonでデータ分析するのに必要なツールのまとめ - Qiita
この記事について Pythonでデータ分析を行う際に役立つセットアップを紹介します。 データ分析に興味がある方はこちらも合わせてどうぞ データサイエンティストに興味があるならまずこの辺りを見ておきな、って文献・動画のまとめ（随時追加） - Qiita 実行環境 Jupyter(旧iPython Notebook) http://jupyter.org/ インタラクティブ（対話的）なコード実行のための環境 データ分析に非常に適していて、慣れると他のIDEなどでは分析ができなくなる。 任意に分けたコードブロックごとに実行し、結果を都度表示出来るほか、 ・グラフのインライン表示 ・数式の記述（Latex） ・マークダウン方式の文章記載 などの機能を備えており、模索しながらの分析作業や、結果の共有・保管などに非常に適する。 iPythonで文章と図表を描くことで論文のような形式で書くことも出来るた
Jupyter から見た Treasure Data の使い方 - Qiita
Jupyter + Pandas-TD について何か書こうと思っていたところ、Cookpad の有賀さんによる素晴らしい紹介記事が！流れに便乗して、ここでは Pandas-TD の使い方をいくつか紹介したいと思います。 データに素早くアクセスするために Pandas と Treasure Data を組み合わせるためにスタートした Pandas-TD ですが、最近はどちらかというとインタラクティブなデータ探索を楽にするために開発を続けています。その典型がマジック関数で、Jupyter を開いてすぐクエリを実行したいときに重宝します。 時間を掛けてデータ分析するなら、素の Pandas 関数を使ってプログラミングする方がいいのですが、ちょっとしたログの調査のたびに Python でコードを書くのも面倒です。自動化できるところは自動化し、なるべく簡潔に欲しい結果を得られるようにするのがマジック
現代のエンジニアのための強力なメモ帳 Jupyter notebookのすゝめ - クックパッド開発者ブログ
会員事業部の有賀(id:chezou)です。 今年一年、社内では勝手に"Jupyterの伝道師"を標榜してJupyter notebookの普及活動を展開してきました。 先日、社内でハンズオンも行ったおかげもあり、かなり社内のマシンにPython環境が構築されてきました :) Jupyter notebookとは？ ひとことで言うとブラウザで動くすごい便利なREPL*1です。 百聞は一見にしかず、見てみましょう。 このように、Rubyの対話環境であるpryを触っているようにインタラクティブにコードを書くことができます。 以降で説明をしますが、Jupyter notebookは記録・共有・再現がとても得意です。特に図表があるときにその効果を発揮します。 Jupyter notebookの良い所 過去のコードを改変、再実行できる セルと呼ばれる入力部分にはMarkdownやコードが記述できます
SympyとJupyter notebookで数式のメモを取ろう - once upon a time,
id:meison_amsl さんによるSympyの紹介がとてもよい感じだったのですが、Sympy Liveわざわざ使わなくてもJupyter notebook使えるのでは！？と思ったので試してみました。*1 わざわざ、というと語弊があると思いますが、手元でメモ＋αとして管理するのにはJupyter notebookの方がいいかなと思っています。 myenigma.hatenablog.com Sympyは 2015年センター試験数学IAを全てプログラム(Python)で解く - Qiita でも見ていて、ふーん、凄いなと思っていた程度なのですが、 単純に数式を記述するだけではなく、それを方程式として展開したり微分、積分したりできるのが良いですね。 単に数式をメモするだけならJupyter notebookでLaTex記法で数式を書くことができます。 meison_amslさんのものを J
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RustとElixirを勉強するためにDockerfileを書いた - Qiita