Fast Python Serialization with Ray and Apache Arrow
This post elaborates on the integration between Ray and Apache Arrow. The main problem this addresses is data serialization. From Wikipedia, serialization is … the process of translating data structures or object state into a format that can be stored … or transmitted … and reconstructed later (possibly in a different computer environment). Why is any translation necessary? Well, when you create a
Why We Switched from Python to Go
Go is fast! Go is extremely fast. The performance is similar to that of Java or C++. For our use case, Go is typically 40 times faster than Python. Here’s a small benchmark game comparing Go vs Python. Reason 2 - Language Performance Matters For many applications, the programming language is simply the glue between the app and the database. The performance of the language itself usually doesn’t ma
Nuitka the Python Compiler — Nuitka the Python Compiler
IP Protection Compiling your source code for security. If you're a commercial user, ensure that all of your data and files are secured and that there are no readable strings. Performance Boost your program runtime and launch performance. Deployment Enjoy hassle-free Python deployment with standalone distributions, onefile, PyPI wheels, and more.
tqdmをムリヤリprocess safeっぽくするdirty hack | さかな前線
生物界で最大の目（光を検知する器官）を持っているのはダイオウイカおよびダイオウホウズキイカと言われ、その大きさは30〜35cmほどにもなるのだそうです。 さて、世界70億人のPythonプログラマが手放せないのが、tqdmというプログレスバーを簡単に表示できるようにしてくれるライブラリです。 しかしながらtqdmは（当然と言えば当然ですが）複数のプロセスから1つのプログレスバーを管理することができるような設計にはなっていません。 たとえば高速化のためにmultiprocessingを用いて並列処理をしながらプログレスバーを出したいとき、tqdmはそのままでは使えないことになります。 例えば、下記のようなコードで単にtqdmのインスタンスを子プロセスに渡して中でupdateをすると… import tqdm import multiprocessing def worker(pbar): p
Python ヒッチハイク・ガイド — The Hitchhiker's Guide to Python
Python ヒッチハイク・ガイド¶ Python ヒッチハイク・ガイド へようこそ。 これは皆さんの手により生きているガイドです。 貢献したい方は GitHub で fork してください！ この手作りガイドは、初心者と熟練者のPython開発者の両方に、Python のインストール、設定、および使用に関するベスト・プラクティスを日々提供するために存在します。 このガイドは、ほとんど 独断的なもの であり、Python の公式文書では ありません 。 ここでは、すべての Python Webフレームワーク の一覧は見つからないでしょうが、強く推奨されているリストが簡潔に見つかるでしょう。 さあ、始めましょう！ まずは、あなたの探しものがどこにあるかを確認しましょう。
Top 10 Python libraries of 2016
Again, we try to avoid most established choices such as Django, Flask, etc. that are kind of standard nowadays. Also, some of these libraries date prior to 2016, but either they had an explosion in popularity this year or we think they are great enough to deserve the spot. Here we go! 1. ZappaSince the release of AWS Lambda (and others that have followed), all the rage has been about serverless ar
pandasql: Make python speak SQL
Introduction One of my favorite things about Python is that users get the benefit of observing the R community and then emulating the best parts of it. I'm a big believer that a language is only as helpful as its libraries and tools. This post is about pandasql, a Python package we (Yhat) wrote that emulates the R package sqldf. It's a small but mighty library comprised of just 358 lines of code.
www.gahcep.com is Expired or Suspended.
「 www.gahcep.com 」のページは、ドメインが無効な状態です。 ウェブサイト管理者の方はこちらから変更・更新を行ってください。 「 www.gahcep.com 」is Expired or Suspended. The WHOIS is here.
Quick Guide to Build a Recommendation Engine in Python & R
Overview Deep dive into the concept of recommendation engine in python Building a recommendation system in python using the graphlab library Explanation of the different types of recommendation engines Introduction This could help you in building your first project! Be it a fresher or an experienced professional in data science, doing voluntary projects always adds to one’s candidature. My sole re
Comparing Python Clustering Algorithms
Comparing Python Clustering Algorithms¶(Why you should use HDBSCAN)¶There are a lot of clustering algorithms to choose from. The standard sklearn clustering suite has thirteen different clustering classes alone. So what clustering algorithms should you be using? As with every question in data science and machine learning it depends on your data. A number of those thirteen classes in sklearn are sp
Jupyter Notebook Viewer
%load_ext watermark %watermark -a 'Sebastian Raschka' -v -d -p pandas
私が選ぶ2015年の”新しい”Pythonモジュール トップ5 | POSTD
最近、このモジュールを妻に紹介したところ、そのシンプルさと実用性に驚いていました。 joblib joblibの存在は以前から知ってはいたものの、実際のところはよく理解しておらず、いろいろな機能を寄せ集めたようなモジュールだと思っていました。まあ、その印象は今もあまり変わりませんが、実は非常に便利なモジュールだったのです。私は Flowminder の同僚から再度joblibを勧められて、このモジュールをデータ分析用のコードに幅広く使用しました。では、その機能について紹介しましょう。joblibは大きく分けて、 キャッシング 、 並列化 、 永続化 （データの保存と読み込み）の3つの機能から成ります。実を言うと、私はまだ並列プログラミングの機能は使ったことがないのですが、あとの2つの機能は頻繁に使ってきました。 キャッシング機能とは、シンプルなデコレータを使って、関数を簡単に”メモ化”する
Pythonのジェネレータ、コルーチン、ネイティブコルーチン、そしてasync/await | POSTD
(訳注:2016/3/9、いただいたフィードバックを元に記事を修正いたしました。) 注意： この記事で書かれている機能は、大部分がPython 3.4で導入されたものです。ネイティブコルーチンとasync/await構文はPython 3.5でサポートされました。そのため、本記事に記載されているコードを試す場合はPython 3.5の利用をお勧めします。 ジェネレータは値を 生成する 関数です。普通、関数は return で値を返したあと、その下層のスコープは破棄します。関数を再度呼び出す場合、その関数はゼロから起動されることになります。つまり1回限りの実行となります。しかしジェネレータ関数は値を yield で返し、関数の実行を一時停止します。その後、関数を呼び出したスコープにコントロールが移ります。関数を再び呼び出して次の値を(存在すれば)得たい時は、実行を再開することができます。では
Where are we in the Python 3 transition?
The Kübler-Ross model outlines the stages that one goes through in dealing with death: Denial Anger Bargaining Depression Acceptance This is sometimes referred to as the five stages of grief.Some have jokingly called them the five stages of software development. I think it actually matches the Python community's transition to Python 3 rather well, both what has occurred and where we currently are
The Request Context — Flask Documentation (0.12)
The Request Context¶ This document describes the behavior in Flask 0.7 which is mostly in line with the old behavior but has some small, subtle differences. It is recommended that you read the The Application Context chapter first. Diving into Context Locals¶ Say you have a utility function that returns the URL the user should be redirected to. Imagine it would always redirect to the URL’s next pa
パワフルではない言語が必要 – 表現力と合理性のトレードオフについて、Pythonを例に考える | POSTD
多くのシステムは“パワフル”であることを売りにしています。パワフルであることを悪いことだと指摘するのは困難に思えますし、この言葉を使う人々はほとんど全て、良いことと想定して使っているようです。 この記事では、 パワフルではない 言語やシステムが必要なケースも多いということを論じたいと思います。 まずその前に、この記事を書くにあたって、私自身のオリジナルの知見はほんのわずかしかない、ということを述べておきます。ここに述べた一連の考えの背景には、Hofstadterの著作 『Gödel, Escher, Bach: An Eternal Golden Braid』 （訳注：日本語版があります。 『ゲーデル、エッシャー、バッハ – あるいは不思議の環』 ）を読んだことがあります。この本を読んだことで、私自身の経験から得てきた原則について、考えがまとまりました。Philip Wadlerの投稿、
Introducing Lektor — A Static File Content Management System For Python
Introducing Lektor — A Static File Content Management System For Python written on Monday, December 21, 2015 The longer I'm programming and creating software, the more I notice that I build a lot of stuff that requires maintenance even though it should not. In particular a topic that just keeps annoying me is how quickly technology moves forward and how much effort it is to maintain older code tha
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
How we brought the latest version of Python to App Engine and Cloud Functions
http://journalpanic.com/post/postmodern-error-handling/
https://github.com/nvdv/vprof/blob/master/README.md
