Pythonのパッケージ周りのベストプラクティスを理解する - エムスリーテックブログ
砲撃する自走砲（PzH2000自走榴弾砲）。自走砲は戦車によく似ていますが、戦車ではありません。＊本編とは関係ありません。 こんにちは、エムスリー基盤開発チーム小本です。 Pythonのパッケージ管理周りでは、 「setup.pyでrequirements.txtを読み込むのが普通なんですよね？」 「pipenv があれば venv はオワコンなんですね？」 「pyenvは要らないんですよね！？」 「Pythonは歴史が古い分、Rubyなどに比べてカオス」 みたいな混乱をよく目にします。 実際、複数のツールがあって（一見）複雑です。また「なぜこうした状況にあるのか」がドキュメント化されているわけでもありません。 なので、私なりに整理してみることにしました。 ※「追伸」を追加しました。この記事では汎用プログラミング言語としてPythonを使うケース（Webアプリとか、CLIツールとか、ライブ
Homebrew の Python で何が変わって何がもとに戻ったのか - methaneのブログ
rcmdnk.com 大分混乱した状態になってしまったので、今年何が変わってきたのか、今回の変更でどこまでもどったのかを整理しておきます。 1/19 python という formula が python コマンドをインストールしなくなりました。 python コマンドを起動すると、通常は /usr/bin/python が起動するようになりました。 1.5.0 — Homebrew 3/2 python という formula が Python 3 になり、 Python 2.7 は python@2 になりました。 python formula (Python 3) が python コマンドをインストールするようになったので、 python コマンドを起動すると通常は Python 3 が起動するようになりました。これが npm の gyp とか色んな所をぶっ壊す変更になっていました
3月1日、Homebrew のデフォルトの Python が Python 3 になります。 - methaneのブログ
以前からアナウンスされていた 通り、 3/1 （日本時間では 3/2 になるかも）にデフォルトの Python が Python 3 に切り替わる予定です。 現在そのプルリクエストがレビュー中です。 github.com 具体的には、今まで "python" という formula は Python2.7 でしたが Python 3.6 になります。 Python 2 をインストールするには brew install python2 もしくは brew install python@2 とします。（これまで使えていた python3 という Formula は python への alias になります。） 何らかの理由で意図的に Python 2 を選択しているユーザー以外は、 brew install python で（推奨される）Python 3をインストールできるようになるので、こ
【初心者向け】Jupyter+Pandas+matplotlibを使ったデータ分析入門 - Gunosyデータ分析ブログ
こんにちは、データ分析部でバイトをしている子田（id:woody_kawagoe）です。 ニュースパスのログを集計して分析するといった業務を行っています。Gunosyで分析に利用しているツールとしては主にJupyter, Pandas, matplotlibがあります。 この組み合わせは非常に相性が良く、研究でも役立つと思います。 そこで今回のブログではデータ分析に役立つtipsや学んだことをまとめます。 Jupyter Pandas matplotlab データ分析の基本的な流れ 参考資料 Jupyter jupyter.org ブラウザ上で利用できる開発環境です。 対話型で、作成したスクリプトと出力結果の対応関係が非常に見やすいです。 スクリプトでprint文をかかなくても最終行に変数おけば表示してくれます。 またgithub上にJupyterで作成できるipynbファイルを置くと他の
データ分析で頻出のPandas基本操作 - Qiita
はじめに 機械学習や深層学習が人気の昨今ですが、それらのモデルの精度に最もクリティカルに影響するのはインプットするデータの質です。データの質は、データを適切に把握し、不要なデータを取り除いたり、必要なデータを精査する前処理を行うことで高めることができます。 本頁では、データ処理の基本ツールとしてPandasの使い方を紹介します。Pandasには便利な機能がたくさんありますが、特に分析業務で頻出のPandas関数・メソッドを重点的に取り上げました。 Pandasに便利なメソッドがたくさんあることは知っている、でもワイが知りたいのは分析に最低限必要なやつだけなんや…！、という人のためのPandasマニュアルです。 また、単に機能を説明するだけでは実際の処理動作がわかりにくいため、ここではSIGNATE(旧DeepAnalytics)のお弁当の需要予想を行うコンペのデータを拝借し、このデータに対
Pandasを使ったデータ操作の基本 - ぴよぴよ.py
データ分析の会社に転職してから3ヶ月。 最初の1ヶ月はPandasの扱いに本当に困ったので、 昔メモしてたことを簡単にブログに記録しておく(o ･ω･)ﾉ 【追記】2017/07/31 0:36 データが一部間違ってたので修正しました Pandasとは pandasでよく使う型 テストデータについて 余談 Pandasでのデータ操作入門 pandasのload データ(csv)のロード データのサイズ データのカラム 行列から必要な列(カラム)を取り出す 条件にマッチするデータを取り出す 1. DataFrame.queryで取り出す True/FalseのSeries型を指定し、Trueの行だけを取り出す 追記(2017/12/14) 行列から必要な行番号を指定してを取り出す グループ分けと集計 新たな列を追加する 固有値を追加する 他の列を加工して新たな列を作る 他の複数列を加工して新
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
PythonでYahooファイナンスから株価を取得 - 武器商人＠Pythonのブログ
移転しました。 2017/10/13 Pythonスクレイピング関連の書籍についてアップデート 2017/03/24 Pythonスクレイピング関連の書籍についてアップデート コードを引数にして株価を取得したい 株価の情報はYahoo!ファイナンスから 株価詳細ページ サンプルコード 実行結果 たくさんのコードを渡してみる。 実行結果 出力結果をテーブルに吐いてみた 実行結果 スクレイピングについて興味をお持ちの方は コードを引数にして株価を取得したい 株価を取得したいというニーズは昔からある様子。2000年以前の書籍を見ても、株価を取得するサンプルコードがあった。htmlのタグ付けなど大きく変わっているだろうから、そのままは使えない。Pythonで書き直してみることに。 株価の情報はYahoo!ファイナンスから 他のサイトでもいいんだけど、URL設計がしっかりとしていて、タグ付けがちゃん
matplotlib入門 - りんごがでている
matplotlibはPythonでグラフを描画するときなどに使われる標準的なライブラリです。 画像ファイルを作るばかりでなく、簡単なアニメーションやインタラクティブなグラフを作ることも可能です。 実際の例はmatplotlibサイトのギャラリーで見ることができます。 matplotlib/gallery matplotlibは本家のサイトやどこかのブログにあるチュートリアルや例を描画してみるぶんには簡単なのですが、 実際に自分でプロットするとなると基礎的な概念を理解していないと使いにくいライブラリでもあります。 また、基礎的な概念を理解していないとドキュメントを参照する際にもどこを見て、どう実用すればいいのかわかりません。 そこで、この記事ではそのあたりのmatplotlibの基礎を解説していきます。 なお、Python自体の知識はある程度仮定していますが、matplotlib自体の実装
早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話 - Qiita
English version available on dev.to はじめに matplotlibで作ったグラフの細かい調整は大変です。何をどういじったらいいのかを調べるのにアホみたいに時間がかかることがあります1。「何を」の部分の名前さえわからないこともあります。解決の糸口を掴んだ後も希望通りの見た目を実現するまでの最後のアレンジに苦労することが多いです2。これらの問題はmatplotlibのグラフがどういう要素で構成されていて、それらに対してどういうことができるかを知ることでいくらか改善されます。私はひたすらStack Overflowの回答を読むことでいろんなつまづきを時間をかけて乗り越えてきましたが、最近になってようやく公式チュートリアルにこの苦労を回避できたはずのヒントが書いてあることに気づきました。初期にざっと目を通したのですが「なるほど、よくわからん」と判断して読み込まな
PythonでPandasのPlot機能を使えばデータ加工からグラフ作成までマジでシームレス - Qiita
Pandasのグラフ描画機能 この記事ではPandasのPlot機能について扱います。 Pandasはデータの加工・集計のためのツールとしてその有用性が広く知られていますが、同時に優れた可視化機能を備えているということは、意外にあまり知られていません。 この機能は Pandas.DataFrame.plot() もしくは Pandas Plot と呼ばれるものです。 Pandas Plotを使いこなすことが出来るようになれば、 データの読み込み、保持 データの加工 データの集計 データの可視化 というデータ分析の一連のプロセスを全てPandasで完結させることが出来る、つまり分析の「揺りかごから墓場まで」を実現することが出来ます。 Pandasのプロット以外の機能について この記事ではPandasのデータハンドリングなどに関わる機能は説明しません。 そちらにも興味がある方は下記の記事などを
PythonでWebスクレイピングする時の知見をまとめておく - Stimulator
- はじめに - 最近はWebスクレイピングにお熱である。 趣味の機械学習のデータセット集めに利用したり、自身のカードの情報や各アカウントの支払い状況をスクレイピングしてスプレッドシートで管理したりしている。 最近この手の記事は多くあるものの「～してみた」から抜けた記事が見当たらないので、大規模に処理する場合も含めた大きめの記事として知見をまとめておく。 追記 2018/03/05： 大きな内容なのでここに追記します。 github.com phantomJSについての記載が記事内でありますが、phantomJSのメンテナが止めたニュースが記憶に新しいですが、上記issueにて正式にこれ以上バージョンアップされないとの通達。 記事内でも推奨していますがheadless Chrome等を使う方が良さそうです。 - アジェンダ - 主に以下のような話をします。 - はじめに - - アジェンダ
【https化に向けて】混在コンテンツのhttpを自動で抽出するアレを作った - プロクラシスト
こんにちは！ほけきよです。 はてなのSSL化、ようやく来ましたね。 staff.hatenablog.com はてなから移行するのめんどそうだし、はてな嫌いじゃないし、移行とかあんまり考えてません。 なのでよかったです！ けど、記事の最後に気になる文がありましたね。 HTTPSのページを閲覧するときに、HTTPの画像やJavaScriptがあると、Webブラウザが混在コンテンツ（Mixed Content）としてブロックし、表示されません。このときブラウザの「開発者ツール」を利用すると、次のように「Mixed Content」エラーが確認できます。 ほえぇ、なるほろ。画像とjjavascriptのタグ内httpは自分で変えなければならないのね。 でもいちいち調べるの面倒。ムリ。 なので、画像とjavascript内のhttpを自動で抽出するアレを作りました。 ※今回もpythonです Re
[Python]pyenvとvirtualenvとpyenv-virtualenv - dackdive's blog
pyenv とか virtualenv を使いだしてだいぶ経つけど、メモ。 web 上の記事で、virtualenv と呼んでいるものが実は pyenv-virtualenv のことだった、というのがたびたびあって しばらく自分も勘違いしてました。 結局、最初に pyenv とか virtualenv の使い方を学ぶ時に参考にした こちらのサイトが一番わかりやすく、正確でした。 http://blog.ieknir.com/blog/pyenv-with-virtualenv/ pyenv https://github.com/yyuu/pyenv 1台のPC内で 異なるバージョンの Python を管理する ためのツール インストールは mac の場合 Homebrew から行うことができる $ brew install pyenv サンプル $ pyenv versions * 2.7
![[Python]pyenvとvirtualenvとpyenv-virtualenv - dackdive's blog](https://cdn-ak-scissors.b.st-hatena.com/image/square/a64040934aa3615db2bd395c9f8e3a68dcdfa163/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815712615374%2F6653586347148185381%2F1645799830)
心臓が止まったらSNSに「死にました」と投稿する - Qiita
概要 fitbit(alta HR)で心拍数をモニタリングして、心拍数が0になったらSNSに「死にました」と投稿するスクリプトを書きました。 リポジトリ 僕はほぼ24時間fitbitを付けっぱなしにしているので、fitbitごと壊れる死に方でない限り大体カバーできるはずです。 fitbit alta HRとは リストバンド型ウェアラブル端末の1つで、常時心拍数などを測れます Pure Pulseという技術で従来のデバイスより正確に測れるらしいです APIが充実しています Fitbit APIで心拍数を監視する Fitbitアプリを登録する こちらから登録できます 心拍数データを取るためには「OAuth 2.0 Application Type」を「Personal」にする必要があります 心拍数を取得する python-fitbitを使わせてもらいました。使い方は他に多くの解説記事があるので
補完などを有効にしてVimを最高のPython用開発環境に進化させる - タオルケット体操
注意：NeoVimとかneocompleteとか NeoVimの開発進行に伴い、多くのshougoware（neoシリーズ）も開発が終了して、闇の力をまとったなんかになっていってるっぽいです。 僕はNeoVim関係の情報をキャッチアップできていませんが、各プラグインに関してはREADMEやdocを読んでいって自己判断をやっていきましょう。 賛否あるでしょうが、Pycharm（IDEA）のような優れたPython用IDEがある現代においては、エディタのカスタマイズを全く行わないというのは生産性を犠牲にする行為であると筆者は考えています。 とはいえツールのセットアップというものはめんどくさいものです。IDEですら設定すべき箇所は多数あります。 今のところPython用Vimカスタマイズの設定例として個人的に満足するものがなかったのでブログにまとめておこうと思います。 Vim初心者だとわからない
Vimメモ : jedi-vimでPythonの入力補完 - もた日記
jedi-vim インストール 前提条件 インストール方法 基本的な使い方 FAQ docstringのポップアップを無効 タブキーで補完 補完が遅い デフォルト設定 補完以外の機能 定義へ移動 pydoc表示 変数リネーム 使用箇所表示 jedi-vim github.com Pythonを使う機会があったのでVimでPythonの環境を整えてみる。 補完についてはjedi-vimというプラグインが良さそうなので試してみる。 インストール 前提条件 Vimが+pythonでコンパイルされている必要があるので下記コマンドで確認。Python3を使うため+python3/dynとなっていればよさそう（dynは動的リンクということらしい）。この状態だとVimで:echo has('python3')を実行すると1が返ってくる。 $ vim --version | grep python +cr
最強のPython開発環境 PyCharmのすゝめ - Qiita
私はPython歴はかれこれ7年程になり、PyScripterやVimなど色々な開発環境を変遷してきた。 その中でPyCharmが最強のPython開発環境であると断言する。 PyCharm Home Page 開発はIntelliJ IDEAのJetBrainsで、最近はGo言語用IDEのGoglandを発表している。 動作環境はWindows/OS X/Linuxのマルチプラットフォームである。 PyCharmは無償版と有償版があるが、普通の開発ならば無償版で充分すぎるほど機能が備わっている。 PyCharmがいかに便利であるか紹介してみよう。 リアルタイムのコードチェックと修正機能 PyCharmはリアルタイムにコードをチェック（PyFlakes使用）してくれるが、Vimでも同様の事ができるので目新しい事ではない。 PyCharmの素晴らしい所は、警告個所を適切に修正してくれる機能が
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
pythonでオブジェクトのクラスを調べる - Qiita
【Python環境整備】脱NeoBundle。超便利補完プラグインjedi-vimの環境をdeinで整えて快適になる設定までやる - Qiita
