One of the cool new features in py-spy is the ability to profile native Python extensions written in languages like C, C++ or Cython. Almost all other Python profilers[1] only show program activity that is in pure Python code, and native code will instead show up as spending time in the line of Python that calls the native function. Using native profiling tools like perf can get you a sense of wha

TL;DR アウトオブコア、かつマルチコアでデータ処理を行えるVaexの紹介です。 string関係のメソッドで平均して100倍以上の高速化が確認できました。(作者のベンチマークだと最大1000倍) 文字列処理以外でも数倍~数十倍の高速化が行えそうです。 この記事では性能の比較のみ行い、解説記事は別で書こうと思います。 pandasより1000倍早いフレームワーク？ 今週、興味深い記事を読みました。重要な部分だけ抜き出すと次のような内容です。 Vaexの最近のアップデートでの文字列処理が超早くなった 32コアだとpandasと比べて1000倍早い towardsdatascience.com 1000倍って本当なの？って感じですよね。そもそも自分はVaex自体を知らなかったので調べてみました。 ちなみに調べていて気づいたのですが、この記事の著者はVaexの作者なんですよね。 疑っているわけ

ちなみに、3.7としているけど、ほぼ3.6でも問題なくいくかと思います。 本エントリーの方針 このエントリーではPython 3.7で動くアプリケーションの開発環境を作りますが、その過程で必要なツール（Python本体、pip、pipenv）をそれぞれの場所にインストールします。とりあえず次の方針でやります。Python本体以外はPythonのエコシステムでやっていきます。イージーよりはシンプルという方針です。 管理者権限が必要なシステムへの変更は最低限にする。ユーザー権限で入るものはユーザー権限で入れる。 PATHや環境変数への変更も最低限にする。 Python本体以外はOS固有のツールには依存しないようにする。 curlで取ってきたスクリプトをパイプでsudoで実行するみたいな頭に虫が湧いているようなマジキチなことはしない。 Python処理系環境構築 (システムごとに1度だけ実行）

Built-in Exceptions¶ In Python, all exceptions must be instances of a class that derives from BaseException. In a try statement with an except clause that mentions a particular class, that clause also handles any exception classes derived from that class (but not exception classes from which it is derived). Two exception classes that are not related via subclassing are never equivalent, even if th

この記事は Python その2 Advent Calendar 2018 - Qiita の1日目です。 responderとは GitHub - kennethreitz/responder: a familiar HTTP Service Framework for Python 2018年10月に公開された イケてるPython WebFramework です。 requestsやpipenvなどの開発者である Kenneth Reitz が(おそらく)今年のHacktoberfest 2018 - DigitalOcean 用に開発したものだと思われます。 GitHubのタグを見ると(Topic: hacktoberfest2018 · GitHub )、hacktoberfestで2位 今年10月に公開されたのに関わらず既にStarが2000以上付いており、かなり勢いがあります

EF15形は高性能な電気機関車であったが、引き出し性能が蒸気機関車に劣ると誤解されていた。 誤った運転方法により本来の性能を引き出せていなかったのである。 （spaceaero2 [CC BY 3.0], ウィキメディア・コモンズより） こんにちは、エムスリー・エンジニアリングG・基盤開発チーム小本です。 WEBサイトは RailsやSpringなどの「本体部分」だけでは完結しません。レポート作成・データ更新などの細かい処理も必要です。 過去にはこうした用途にはBashがよく使われました。しかし、Bashは落とし穴が多かったり、クラスなどの抽象化機能がなかったりして、規模が大きくなると辛くなります。 そこで、Bashの代替候補に挙がるのがPythonです。エムスリーでもかつてはBashを使っていましたが、現在は新規案件にはPythonを推奨しています。 しかし、実際にPythonで書き直そ

これまで、開発や運用時に使う、ちょっとしたコマンドラインツール、自動化スクリプトは、主にBashのシェルスクリプトで実装していたのですが、最近このような用途にはPythonを使うようにしています。 Bashスクリプトへの不満 スクリプトの実装方針 ポータビリティ重視のための縛りPythonプログラミング Tips __future__モジュールでバージョン2、3両方に対応させる バージョン2、3で異なるモジュールを、同じ名前で読み込む バージョン2、3を判別する関数を用意する よく使うスニペット 文字に色をつける 赤い文字でエラーメッセージを出力して終了する 外部コマンド実行する テキストをファイルに出力する ファイルに実行権限をつける スクリプトの同時、多重起動防止する コマンドライン・オプションの解析 HTTPリクエスト まとめ Bashスクリプトへの不満 Bashのスクリプト実装にお

参考 @kidach1 さんの投稿をPythonに書き換えてるだけです。 @kidach1 さん、いつもありがとうございます。 https://qiita.com/kidach1/items/4b63de9ad5a97726c50c 概要 改めて基本を学ぶ。 参考「Rubyによるデザインパターン第1章」→この投稿はPython デザインパターンとは プログラミングにおいて繰り返し現れる問題に対する、適切解のパターン。 無駄無く設計されたオブジェクト指向プログラムの実現をサポート。 パターンとしてカタログ化されていることで 車輪の再発明を防ぐ デザインパターンの根底にある5つの考え 変わるものを変わらないものから分離する プログラムはインターフェイスに対して行う（実装に対して行わない） 継承より集約 委譲、委譲、委譲 必要になるまで作るな（YAGNI） 変わるものを変わらないものから分離する

今日はPython (Pandas)で高速にCSVを読むことに挑戦したいと思います。 Kaggleに参加するたびに、イライラしていたので各実装の白黒はっきりさせようと思います。 R使いが羨ましいなぁと思う第一位がCSV読込が簡単に並列出来て速いことなので、 なんとかGILのあるPythonでも高速に読み込みたいと思います。 ただ、この検証ではコーディング量が多いものは検証しません。 CSV読込は頻出するので、フットワークの軽さが重要です。（オレオレライブラリ嫌い） Pickleは早いけど。。。 結論はDask使おう！ 検証環境 データ 速度検証 pandas.read_csv() pandas.read_csv() (dtype指定) pandas.read_csv() (gzip圧縮) numpy.genfromtxt() pandas.read_csv() (chunksize指定 +

「ITに全く関係ない分野からITに飛び込んで活躍しているエンジニア」や「ITとIT以外の分野の境界を行き来しながら成果を上げているエンジニア」を「越境エンジニア」と名付け、1カ月に一人ずつインタビューを掲載する。今月取り上げるのは佐藤治夫氏。Pythonに特化したシステム開発会社であるビープラウドの創業者だ。今回は、ビープラウドがPythonに特化した経緯や理由、リモートワークの全面採用などについて聞いた。 （前回から続く） ビープラウドを設立してから最初の2年弱はJavaでシステム開発をしていました。しかしJavaだと他の企業と差別化できません。Javaエンジニアの採用を大手企業と争うことになります。「本当は大企業に入りたかったが入れなかった」という人に来られても困ります。 大手企業と採用で競争しないためにどうすればいいかを考えた結論が「Pythonの採用」でした。2008年4月にPyt

EDIT: 2018/06/19 pipenvについて追記 本記事は社内向けに書いた文章を修正したものである。 世の中にある代表的な「Python環境管理ツール」に virtualenv, pyenv, venv, pipenv の4つがある。これらをGoogleで検索すると使い方が書かれたページばかりが出てきて、それらの違いや使い分けを解説する記事は少ない。 本当は必要ではないのに「pyenvは便利」のような謳い文句で何となく使わせる記事や、古い情報を元に書いた「一見新しそうに見える記事」も多く見られる。 この記事では、中立・実用重視な視点から各ツールを解説し、筆者が考えうるベター（ベストは人それぞれ）な組み合わせについて書く。 なおAnacondaは初学者が使うにはおすすめできない。Anacondaについての筆者の解釈は末尾にあるためそちらも参照されたい。 本記事公開後いくつか近い話題

あなたは機械学習のプロジェクトを毎回違う構成で作っていませんか？ 何をどこに配置するかで悩んで時間がかかっていませんか？ そんな方に朗報です。 機械学習のプロジェクトはコマンド一発で作れます。 以下のようなプロジェクトを数秒で作れます。 ディレクトリ構造 ├── LICENSE ├── Makefile <- Makefile with commands like `make data` or `make train` ├── README.md <- The top-level README for developers using this project. ├── data │ ├── external <- Data from third party sources. │ ├── interim <- Intermediate data that has been transfor

Pythonで機械学習の環境を作る、というと山のように「Anacondaをインストールせよ」という記事が出てきますが、実際環境構築はMinicondaというAnacondaの最小構成版で十分です。 ということを伝える記事です。 最速で機械学習の開発環境を作る方法 基本は以下で十分です。 Minicondaをインストールする(※もちろんPython3の方をインストールして下さい) conda create -n ml_env numpy scipy scikit-learn matplotlib jupyterで開発環境を作成 activate ml_envで作成した開発環境を有効化 実際はMacかWindowsかなどで微妙な差異があるので、詳細はこちらを参照して下さい。 Pythonで機械学習アプリケーションの開発環境を構築する また、開発環境を作成するcondaコマンドの使い方については

先日、Googleから『Python Fire』なるものが発表されました。関連記事によると『Pythonコードからコマンドラインインターフェイスを自動生成するツール』なのだそうです。ざっと見た感じ利用のハードルも低く、すぐに使えそうなものでしたので早速試してみました。 Google Open Source Blog: Introducing Python Fire, a library for automatically generating command line interfaces Python Fireの導入 Python Fireの導入方法及び使い方については下記GitHubの情報にまとまっています。こちらを参考にしながら進めて行きます。 GitHub - google/python-fire: Python Fire is a library for automaticall

Googleは3月3日、「Python Fire」を発表した。Pythonコードからコマンドラインインターフェイス（CLI）を自動生成するもので、Pythonコードの開発やデバッグに有用だという。 Python Fireは、クラスやディクショナリ、モジュールといった任意のPythonオブジェクトからコマンドラインインターフェイス（CLI）を自動生成するライブラリ。Google内部でも利用しており、Python Fireを使ってPython Imaging Library（PLI）のイメージマニピュレーションツールを構築したという。また、Python Fireで実験管理ツールを構築し、PythonとBashと同等に実験を管理しているとのこと。 CLIインスペクションを使っており、PythonプログラムでFireの関数を呼び出すとプログラムに対応するCLIを自動生成する。引数の設定などの作業は

始めに：pandasの作者であるWes McKinneyさんがPythonのデータツール関連でとても興味深いblogを書かれているので、翻訳して日本のPyDataコミュニティに公開してもいいでしょうか、とお聞きしたところ、快諾をいただきましたので少しずつ訳して公開していこうと思っています。 （原文：http://wesmckinney.com/blog/outlook-for-2017/ ） 2016/12/27 Python dataの開発に関して、2017はエキサイティングな年になりそうです。このポストでは、私から提供できそうなものについて書いていきます。それぞれのピースを全体としてどうまとめていくつもりなのか、詳しくは今後のポストで書いていきます。2016年は開発とPython for Data Analysisの第2版の作業で完全に手一杯でblogはあまり書けませんでした。2017

xkcdとは 世界一で最も人気のあるウェブ漫画の一つです xkcd: Code Quality 3 ランダル・マンローが2005年9月に開設 皮肉や風刺が得意。理系ネタが結構多い。 現在は週3回更新されている キャラやフォントが特徴的 これとか皮肉が効いてていいですね！好きです A : 寝ないの？ B : 寝られないんだ、大事なことがある A : なによ？ B : 誰かがインターネットでボロを出してるんだ xkcd: Duty Calls 実はmatplotlibを使えば、グラフをxkcd風に仕立てられます。しかもたった一行で！今回はその紹介をします xkcdとは matplotlibで、xkcd requirement 使い方 MatplotlibのHPもxkcd風に サンプルを見てみる 3D 円グラフ 最後に matplotlibで、xkcd requirement matplotli

Note The Python runtime does not enforce function and variable type annotations. They can be used by third party tools such as type checkers, IDEs, linters, etc. This module provides runtime support for type hints. Consider the function below: def moon_weight(earth_weight: float) -> str: return f'On the moon, you would weigh {earth_weight * 0.166} kilograms.' The function moon_weight takes an argu