asyncioを用いたpythonの高速なスクレイピング - HackerNews翻訳してみた
「HackerNews翻訳してみた」が POSTD (ポスト・ディー) としてリニューアルしました！この記事はここでも公開されています。 Original article: Fast scraping in python with asyncio by Georges Dubus ウェブスクレイピングについては、pythonのディスカッションボードなどでもよく話題になっていますよね。いろいろなやり方があるのですが、これが最善という方法がないように思います。本格的なscrapyのようなフレームワークもあるし、mechanizeのように軽いライブラリもあります。自作もポピュラーですね。requestsやbeautifulsoup、またpyqueryなどを使えばうまくできるでしょう。 どうしてこんなに様々な方法があるかというと、そもそも「スクレイピング」が複数の問題解決をカバーしている総合技術だ
pipの使い方 (2014/1バージョン) — そこはかとなく書くよん。 ドキュメント
pipの使い方 (2014/1バージョン)¶ 以前 pipの使い方 と いう記事を書いたのですが、これは2011年の1月と、ちょうど3年前です。これ から随分変わったので、ここでもう一度まとめたいと思います。 pip: http://www.pip-installer.org/ ここで述べているpipのバージョンは1.5です。お使いのpipのバージョンが古い場合は pip install -U pip として、更新してください。 警告 大きな変更点: pip 1.5から"pre"や"b"などがバージョンに付いているパッ ケージはデフォルトで検索やインストールの対象からはずされました。その ため、1.5未満のバージョンのpipでインストールしたパッケージが1.5では 入らない場合があります。 --pre を付けることで、これらのバージョンを入れることができます。
PythonとかScrapyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - orangain flavor
2016-12-09追記 「Pythonクローリング&スクレイピング」という本を書きました！ Pythonクローリング&スクレイピング -データ収集・解析のための実践開発ガイド- 作者: 加藤耕太出版社/メーカー: 技術評論社発売日: 2016/12/16メディア: 大型本この商品を含むブログを見る 2015年6月21日 追記： この記事のクローラーは動かなくなっているので、Scrapy 1.0について書いた新しい記事を参照してください。 2014年1月5日 16:10更新： デメリットを修正しました。 以下の記事が話題になっていたので、乗っかってPythonの話を書いてみたいと思います。 Rubyとか使ってクローリングやスクレイピングするノウハウを公開してみる！ - 病みつきエンジニアブログ 複数並行可能なRubyのクローラー、「cosmicrawler」を試してみた - プログラマにな
Pinterest: geventでコードベースをマルチスレッドに - ワザノバ | wazanova.jp
http://engineering.pinterest.com/post/65713073803/how-we-use-gevent-to-go-fast Pinterestがエンジニアブログで、Pythonの数十万行のシングルスレッドのコードベースをgeventを利用してマルチスレッドにした経験を紹介しています。 1) Lessons from the early days シングルスレッドのコードベースでサイトの急成長に対処していくうちに、 機能が増えるにつれてサーバが増えた。 バックエンドのサーバが増えたら、障害や遅延のリスクが増した。 コードにロジックが増えたので、network IOなど並列処理をしたかったが、シングルスレッドサーバが足かせになった。 2) Building high performance servers 並列処理サーバを実現するための解がgeventであった
RubyとPythonの違いからガベージコレクタを理解する - ワザノバ | wazanova.jp
http://patshaughnessy.net/2013/10/24/visualizing-garbage-collection-in-ruby-and-python Pat Shaughnessyが、ブタペストで開催されたRUPY2013でのプレゼンの前半を自らのブログで紹介しています。 ガベージコレクタは、「ゴミを集める」という行為だけでなく、「新しいオブジェクトのためにメモリをあてがう。」「不要なオブジェクトを見つける」「不要なオブジェクトからメモリを取り戻す。」という、人間の心臓が血液を浄化するような働きをしている。 この簡単なコードサンプルを見ると、RubyとPythonの記述はよく似ているが、それぞれの言語の内部でのインプリの仕組みは違う。 1) Rubyのメモリ Rubyは、コードが実行される前に、数千のオブジェクトを先につくり、それをリンクされたfree listに置
Python 3 の MySQL ドライバ事情 - methaneのブログ
Python 3.3 の現状の MySQL 事情ってだいぶ解りにくいので、 MySQL-python と PyMySQL についてまとめておきます。 MySQL Connector/Python とかも Python 3 対応しているはずですが使ってないので知りません。 MySQL-python 多分デファクトスタンダードな MySQLドライバなのですが、現状リリースされている 1.2.4 では Python 3 対応ができていません。 Fork の MySQL-for-Python3 が推奨されます。 PyMySQL 一応、この前リリースした PyMySQL 0.6 で動くはずです。 速度的には CPython で使う文には MySQL-python の方が速いはずなので、そっちを使ったほうがいいです。 また、 PyMySQL 0.6 はプロトコル仕様みながら結構書き換えたので人柱要素も
pythonモジュールmechanizeでWeb上の作業を自動化する | TRIVIAL TECHNOLOGIES 4 @ats のイクメン日記
みんなのIoT/みんなのPythonの著者。二子玉近く160平米の庭付き一戸建てに嫁/息子/娘/わんこと暮らしてます。月間1000万PV/150万UUのWebサービス運営中。 免責事項 プライバシーポリシー mechanizeはWeb上の操作を自動化してくれる便利なPythonのライブラリ。Pure Pythonなのでいろんなところで動くよ。PerlのWWW::Mechanizeにinspireされて作られた。RubyにもMechanizeという同種のライブラリがある。Perl偉い！ 「Web上の操作を自動化する」っていうのは，例えばどこかのサービスにログインしてあれこれするとか，そういったことをプログラマブルに行える，ということ。フォームの操作などもオブジェクトを使って実行できるのでとても手軽。Webアプリの開発などではテストに使われたりするんだけど，結局僕がなにをしたかったかというと，
Pythonコミュニティに無償のPython IDE、PyCharm 3.0をお届けします！ | Post Blog
PyCharm 3.0をリリースしました！JetBrainsの提供するPython IDEの最新バージョンです。主な新機能は以下の通りです: SQLAlchemy サポート Pyramid & Web2Py web フレームワークサポート 内蔵ターミナル 設定可能な language injections Python、Djangoコード解析の改善 PyQt、PyGTKコード解析の改善 しかし何より一番大きなニュースは: PyCharmは二つのエディション、コミュニティとプロフェッショナルをリリースしました。 そう、つまりオープンソースかつ無償のPyCharmの登場です！ JetBrainsはPythonが長い間科学計算や教育、公共福祉目的で人気のある言語だと認識しています。これらはJetBrainsが伝統的に支持してきたユーザーカテゴリになります。PyCharmの主要機能をより多くの方に
PyCon APAC 2013 1日目に行ってきた(2) #pyconapac
昨日のPyCon APAC 2013 1日目に行ってきた(1) #pyconapacに行ってきた、の続き。 Interrupt-Driven programmingスライドはまだ上がっていないっぽいんだけど、だいたいこれと同じだと思われる。SIGALRMによるタイムアウトのハンドリングはPythonだけではなく一般的なUnixであればどの言語でも使えるのでよい手法だなーと思った。それを使いやすくしたのがinterruptingcowでこれは便利そうだと思った。全体的には英語＋喋るスピードが速くてほとんど聞き取れなかったけど、スライドの内容はだいたい理解できたと思う。 Erik van Zijstさん(@erikvanzijst)BitBucketの中の人https://bitbucket.org/evzijstはじめにbitbucketはDjangogithubbitbucketのAPIの
Django入門 - memomemo
Djangoチュートリアル（前編） （1/6）：CodeZine を参考にDjango入門してみる。SEMSに会員登録(無料)しないと全部見れない。 Django ドキュメント — Django v1.0 documentationが本家(訳版) Everything you need to know about Django (and then some). 困ったときはここ。 Djangoについて Django - Wikipedia コンポーネントの再利用性 pluggability(プラグインによる拡張性) 素早い開発 DRY原則(Don't Repeat Yourself.) に重点を置いており、複雑であったり、データベース主体のWebアプリケーションの構築を簡単にするために作成された。 The Web framework for pefectionists with deadl
pythonapi.com - Domain Name For Sale | Dan.com
Buyer Protection Program When you buy a domain name at Dan.com, you’re automatically covered by our unique Buyer Protection Program. Read more about how we keep you safe on our Trust and Security page. Next to our secure domain ownership transfer process, we strictly monitor all transactions. If anything looks weird, we take immediate action. And if the seller doesn't deliver on their part of the
デコレータを書く時にはfunctools.wrapsを使おう - スコトプリゴニエフスク通信
トリビアルな例だが、元の関数(func)をデコレート・ラップするmydecoratorというデコレータを書いた時、下のように単純にinnerを返すと、 def mydecorator(func): def inner(*args, **kwds): print "Hi, I'm inner!" return func(*args, **kwds) return inner @mydecorator def hello(to): """ Say hello to somebody """ print "Hello, %s!" % to if __name__ == '__main__': print repr(hello) print hello.__doc__ 結果として、 None のように、デコレートされた元の関数(hello)の関数名やドキュメント文字列が失われてしまう。デコレータを
Python で部分適用 - functools モジュールの partial 関数
1. Python は一部の引数を与えて関数を呼び出すことができない Haskell では、関数に複数の引数があるとき、先に一部の引数のみ渡しておき、後から残りの引数を渡すことができる。一部の引数を与えることを「部分適用」と言う。 Python では、普通そういうことはできない。例えば、３つの引数を足し合わせる関数 addThree 関数に対して、１つの引数だけ与える。 def addThree(a,b,c): return a + b + c print addThree(1) 上記を実行すると、引数が足りないとエラーが表示される。 exceptions.TypeError: addThree() takes exactly 3 arguments (1 given) 2. functools の partial 関数で部分適用 6.6 functools モジュールの partial
『あなたの知らない（かもしれない）パッケージ管理。』
二回目を書いた理由。 こんにちは、二回目の登場の前田です。ブログの運営さんから後述の宣伝をしてもよいからブログ書かないか？というバーターで引き受けました。二つ返事で引き受けたものの、特にネタを考えていなかったので締め切り迫って途方にくれました。 もっとも、よくよく考えたら私が仕事で普段やっている内容も、他の人があまり人がやらないものが多い上、一般受けしそうなネタも持ってないのでした。ですので、以前使うことのあったパッケージ関連のネタについて書きたいと思います。 パッケージを扱う パッケージといってもいろんな種類がありますが、今回は Debian で RPM を扱う方法についてです…。 ウソです。 Debian には、 rpm, rpm2cpio, yum, createrepo などの Debian パッケージが存在します。これらのパッケージをインストールすれば、 Debian 上で RP
Ruby における演算子の再定義と、Python の演算子オーバーロード - コンテナの要素を添え字で参照するためメソッド
1. Ruby における演算子の再定義 Ruby の配列参照演算子 Ruby では、 要素を保持するオブジェクトに対して、 配列の要素を指定するように書くことができる。 これを「配列 参照 演算子」という。 「たのしいRuby」を読んだときに、この書き方は、すぐに忘れると思った。 配列参照演算子とは、配列やハッシュで用いられる [i] と [i]=x のことです。これらは、それぞれ [ ] と [ ]= という名前で定義できます。 (第1版, p348) 当時、プログラミング言語は Java くらいしか知らなかったので、 「二項演算子を定義するには、演算子をメソッド名としてメソッドを定義」 (同上, p346) できるということには驚いた。また、 def +(other) とメソッドに書けることに、違和感さえ覚えた。 クラス／メソッドの定義 - Rubyリファレンスマニュアル によると、
Python のリスト内包表記 - Ruby や Haskell の書き方と比べながら
0. Python の気になる機能 Python チュートリアル の目次をざっと眺め、目にとまったのは次の二つの機能。 5.1.4 リストの内包表記 9.9 ジェネレータ (generator) 両方とも耳馴れない言葉。 (@_@) まずは、リストの内包表記から調べることに。 1. リスト内包表記の基本 a. リストの各要素に関数を適用する 最初は、リスト内包表記の使い方を確認する。例として、「数値のリストの各要素を 2 倍する」 print [x*2 for x in [1,2,3,4,5]] 初めて見たとき、どこから読めばいいのか検討がつかなかった。 読む順番は、 for によって、各要素を取り出し、 各々に対して、操作を加える。 というように、後ろから前へと読み進める。 b. リストの各要素から、条件にあったものを抽出する 次に、同じく数値のリストから、特定の条件に合う要素を抽出す
『WebSocketで監視もリアルタイムに』
こんばんは。社内ニートの佐野と申します。所属はいちおAmebaのインフラチームです。Twitterもやっていますがフォローする価値はないです。つぶやいているのはメシと酒の話と下ネタだけです。 最近、組織改編とかもろもろありましてこのたびは雑用からニートになりました:(;ﾞﾟ'ωﾟ'): あまり目立たないように生きてたんですが、何気にこのブログへの登場は3回目になります...。前回は2012年12月に「QCon San Francisco 2012の参加レポ」を書かせていただきました。その前は2012年5月に「Virident FlashMAXの検証」として名前だけ登場しました。なんか、ニートだけど会社に貢献してる気がしてきた(^ρ^) そんなわけで以前WebSocketを使った監視ツールもどきを作ったので、それについての簡単な説明と、各種技術要素(Python, Jolokia)のTips
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
いつの間にかpipのインストールが楽になってた件 - Qiita
http://kwatch.houkagoteatime.net/blog/2013/12/07/python-tips/
Application Performance Monitoring & Error Tracking Software
