【Python】もうprintデバッグはいらない？ / PySnooperで楽々デバッキング - フリーランチ食べたい
Hacker NewsとRedditでバズっていたPythonのデバッグツールが便利だったので紹介です！ PySnooperというライブラリです。 Hacker News - PySnooper: Never use print for debugging again Reddit - PySnooper: Never use print for debugging again ※追記 想像以上にたくさんの方に読んでいただき、printデバッグなど他のデバッグ方法との比較について追記として文末に補足しました。釣りタイトルですみませんでした…🙇 何ができるライブラリか 一言で言うと「デバッグがめちゃくちゃ簡単にできるライブラリ」です。 github.com 例を見たほうがわかりやすいと思うので見てみましょう。 インストールは pip で行えます。 pip install pysnooper
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust） - Qiita
データの集計は、ExcelよりPython使ったほうが100倍早い（pandas-profiling, pixiedust）Pythonpandasデータ分析データ可視化pandas-profiling Pythonのpandas-profilingと、pixiedustの2つのライブラリを使うと、データの集計・グラフの作成が、感動的なほど早く終わることを実感したので共有します。 Excelでデータ集計・グラフ作成した場合と比較すると、体感で100倍くらい早く終わります（誇張ではなく） Pythonで爆速でデータ集計する方法（体感所要時間：5分） 前提： 以下の環境が整備されていることは、前提とします。 Pythonのインストール（約30分） データ分析に必要な各種ライブラリのインストール（約30分） →numpy, matplotlib, pandas, jupyter など →Anac
pythonでのデータ分析時、死ぬほど調べるTipsをまとめておく。 - プロクラシスト
こんにちは、ほけきよです。 pythonでデータを取り扱っているとき「あれ、これどうやるんだっけ？？」 ってなること、ありませんか？僕は10分に1回程度なります。 いや、覚えろと自分でも思うんですが、覚えられないんですよね。100回くらい同じコマンドを調べてたりする。 物覚えが良くないので、ココを見れば絶対大丈夫なようにしておこうと思い、まとめてみました。 jupyterで最初に開くときに読み込むモジュールたち datetime 日付⇔文字列の変換 datetimeの足し算引き算 json dict型⇔json jsonファイルの入出力 datetimeをjsonにする時、エラーが出る pandas ～以外を表すやつ andとor inf弾く リストをdfにサクッと変換 datetimeとして読み込み 読み込み時にcodecのエラーが出る DataFrameのfor文 numpy lins
確率を指定してリストからランダムに取得する – mzsm.me
仕事で、指定した確率(重み付け)に従ってリストの中からランダムで一つ取得するという仕組みが必要になったのでこんなのを書いてみました。 言語はPythonです。NYSLでどーぞ。 import random def choose(candidates, probabilities): probabilities = [sum(probabilities[:x+1]) for x in range(len(probabilities))] if probabilities[-1] > 1.0: #確率の合計が100%を超えていた場合は100％になるように調整する probabilities = [x/probabilities[-1] for x in probabilities] rand = random.random() for candidate, probability in zip
pathlibとかいう優秀すぎる標準ライブラリ(python) - 備忘録とか日常とか
自分は今までpythonでファイル操作を行うときはos.pathとかglobとかを使っていたが、pathlibという優秀なものがあると聞いて使ってみた。 python3.4以降なら使わない手はない。 以下優れている点 os, glob の組み合わせで行ってきた操作が大体pathlib一つでできるようになる メソッドチェーン的に記述でき、可読性が上がる open()などのファイル読み込み系の操作と親和性が高い windowsだとファイルパスにエスケープ二つ\\入れる必要があるが、/区切りで解釈してくれる 以下もうひとつな点 一部ライブラリではPathオブジェクトを受け付けず、str()でキャストする必要がある copyなど一部未対応のメソッドがある 公式ドキュメントはこちら 主な使用方法 import, インスタンス生成 基本はPath オブジェクトを生成して操作することになる。 インスタン
機械学習で大量のテキストをカテゴリ別に分類してみよう！ - WonderPlanet Developers’ Blog
こんにちはアドバンストテクノロジー部の@y-matsushitaです。 今回は機械学習を使った取り組みとして、手始めにfastTextを使ったテキストの分類について触れたいと思います。 fasttext.cc fastTextとはFacebookが提供する単語のベクトル化とテキスト分類をサポートした機械学習ライブラリです。 fastTextという名前の通り動作が軽く早いのが特徴です。試しに使ってみたところ精度も良好で動作も軽かったのでご紹介させていただきます！ 今回は試しに様々な情報が入り混じったTwitterの投稿内容を分類して「美容系」「エンタメ系」「暮らし系」情報の3パターンに分類してみます。 なお今回の記事ではPython 3.6.1を使用します。 fastTextを使ってできること まず最初にfastTextを使った結果をお見せします。 『分類前』が処理前で『分類後』がfastT
Python Webスクレイピング テクニック集「取得できない値は無い」JavaScript対応@追記あり6/12 - Qiita
この記事について 本記事はPythonを使ったWebスクレイピングのテクニックを紹介します。 ※お酒飲みながら暇つぶしで書いたので割と適当です。 今回紹介するテクニックを使えれば経験上大体どんな値でも取得でき、これらはRubyだろうがGolangだろうが同じ様に動作します。 Webスクレイピングが出来ないサイトがあればコメントにて教えてください。全身全霊を持ってやってみます。 また、Webスクレイピングをしたことが無い方は下記の記事を読むことをお勧めします。 Python Webスクレイピング 実践入門 - Qiita 追記更新 6/12 コメントに対応しました。 はじめに 注意事項です。よく読みましょう。 岡崎市立中央図書館事件(Librahack事件) - Wikipedia Webスクレイピングの注意事項一覧
Python, Beautiful Soupでスクレイピング、Yahooのヘッドライン抽出 | note.nkmk.me
beautifulsoupではなくbeautifulsoup4なので注意。 Yahooのヘッドラインを抽出する例 例として、Yahoo! JAPANのニュースのヘッドラインを抽出する。 macOS: 10.12.3 Python: 3.6.0 で動作確認。 import urllib.request from bs4 import BeautifulSoup url = 'https://www.yahoo.co.jp/' ua = 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_12_3) '\ 'AppleWebKit/537.36 (KHTML, like Gecko) '\ 'Chrome/55.0.2883.95 Safari/537.36 ' req = urllib.request.Request(url, headers={'User-
python3でwebスクレイピング(Beautiful Soup) - Qiita
python3でwebスクレイピングのために、 Beautiful Soupを利用した方法を紹介します ドキュメント：https://www.crummy.com/software/BeautifulSoup/bs4/doc/ 環境 $ cat /etc/redhat-release CentOS Linux release 7.4.1708 (Core) $ python3 -V Python 3.5.4 $ pip -V pip 9.0.1 install 下記を使ってスクレイピングします。 requests: HTTP ライブラリ beautifulsoup4: htmlパーサー(pythonから呼び出し) lxml: htmlパーサー(beautifulsoup4内部で利用)
PythonとBeautiful Soupでスクレイピング - Qiita
Pythonでスクレイピングというネタはすでに世の中にもQiitaにもたくさん溢れていますが、なんとなくpyqueryが使いやすいという情報が多い気がします。個人的にはBeautiful Soupの良さも知ってもらいたいと思うのでここではBeautiful Soupを使っていきたいと思います。 ちなみにこのエントリーはほとんどの部分がBeautiful Soup4のドキュメントの要約です。もっと詳しい情報が知りたい場合はドキュメントをご覧ください。 英語 http://www.crummy.com/software/BeautifulSoup/bs4/doc/ 日本語 http://kondou.com/BS4/ よくある勘違い pyqueryはjQueryのようにcssセレクタを使ってHTMLを扱うことができる点がBeautiful Soupよりも使い易いという意見がありますが、それBe
Beautiful Soup: We called him Tortoise because he taught us.
You didn't write that awful page. You're just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, it's been saving programmers hours or days of work on quick-turnaround screen scraping projects. Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful: Beautiful Soup provides a few simple methods and
Python(tkinter 練習02)
リスト2 ボタン付き Hello プログラム(hello2.py)． 001 #!/usr/bin/python3 002 003 import tkinter as tk 004 005 #================================================= 006 # definition of class 007 #================================================= 008 class App: 009 010 def __init__(self, master): 011 012 frame = tk.Frame(master) 013 frame.pack() 014 015 self.button = tk.Button(frame, text="QUI
Pythonで学ぶ 基礎からのプログラミング入門(8) ユーザーからプログラムへの入力をする方法
WindowsやMacのGUIアプリケーションを使うときに、さまざまな入力を求められることはありませんか。書き出すファイル名の入力や、利用するサーバを一覧から選択するといった場合などです。GUIのPythonアプリケーションでも同様のものを作ることができるのですが、今回は今までのようにテキストベースのアプリケーションで「ユーザーからプログラムへの入力」を扱う方法についてお話します。 ユーザーからの入力の方法にはいくつかありますが、ここではプログラムの起動時に指定する「コマンドライン引数」と、プログラム中でユーザーに入力を求める「標準入力」、そして標準入力を使ったインタラクティブなプログラムの書き方と「exec」についてお話します。 コマンドライン引数 コマンドライン引数の使い方についてお話しする前に、それがなぜ必要なのか説明しておきます。まず以下のような「一人の生徒の成績表を表示するプログ
Pythonをやるときに参考になりそうな情報 - のんびりSEの議事録
最近あんまり触っていなかったので、久々にPythonをやろうと思ったときにいろいろ忘れてたり、新しく知ったりしたこともあったので、Pythonやるときに参考になりそうな情報をまとめました (但し、今回はデータ分析系のライブラリ関連は除いています) Pythonの言語仕様や基本等 概要 — Python 3.5.2 ドキュメントdocs.python.jp qiita.com www.python-izm.com 2系と3系の違い postd.cc qiita.com コーディング規約 はじめに — pep8-ja 1.0 ドキュメント ドキュメント生成 azunobu.hatenablog.com ドックストリング """ 3重ダブルクォートを使用して記載する。 ドックストリングに記述したテキストは関数やクラスオブジェクトの__doc__に保存される def hello(): """Out
Python3で自作モジュールのパスを通す
自分で作ったモジュールをPythonにインポートしたい時、 import sys sys.path.append("/Users/hogehoge/") import hoge と、毎回パスを通せばインポートできますが、結構面倒。 調べてみたら、 import sys sys.path で表示されるPythonの検索パスに.pthという拡張子のテキストデータを置くことで、 検索パスを追加できることが分かりました。 僕の場合、 /Users/ユーザー名/.pyenv/versions/anaconda3-2.1.0/lib/python3.4/site-packages が検索パスにあったので、site-packagesのディレクトリ内にmymodulesというフォルダを追加、そしてmymodules.pthに /Users/ユーザー名/.pyenv/versions/anaconda3-2
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
https://github.com/pandas-dev/pandas/blob/master/doc/cheatsheet/Pandas_Cheat_Sheet.pdf
PythonによるWebスクレイピング入門
はてな - Bing
Exif manipulation library for python
How do I get file creation and modification date/times?