[B! scraping] odzのブックマーク

Scrapy 1.0が公開されました - orangain flavor

Pythonの有名なWebスクレイピングフレームワークのScrapyがバージョン1.0になりました。*1 0.24からの主要な変更点は下記のとおりです。 SpiderでIt emの代わりにdictを返せるようになった Spiderごとにsettingsを設定できるようになった Twistedのloggingの代わりにPythonのloggingを使うようになった CrawlerのコアAPIがリファクタリングされたいくつかのモジュール配置場所が変更された他にも数多くの変更点がリリースノートに記載されています。 Scrapy 1.0の感想大きな機能の追加よりも、APIの整理と安定性の向上がメインのようです。これまではバージョンを重ねるごとに便利になっていくものの、あまりAPIが安定していない印象でしたが、APIを安定させた区切りのリリースと言えるでしょう。1.0というメジャーバージョンに到

odz 2015/06/21

リンク

ニコニコ動画(γ)のSMILEVIDEO動画をダウンロードするPerlコード（もう使えません） - fubaはてな

いたちごっこになりそうな仕組みではある。自前ダウンローダに組み込んだので仕事するか…。いたちごっこになった。とはいえs-skr以降に数字がついただけのうえ、どの数値でも同じflvが落ちてくるっぽいのでとりあえず1-8のランダム値を埋めときました。ついでにハッシュ取得ページも変更。おそらくSMILEVIDEOの動画をダウンロードする需要はかなり低いので、この仕様変更は純粋な負荷対策目的だと思います。あーあと、今後このコードの修正はしません。めんどくさいので。 nicovideon効果でいたちごっこが始まったね。ここのコードは使えなくなりました。とりあえず今使えるのはNotfuncさんのBookmarklet。ログインしてない人はむりです。 usage perl nicodl.pl http://www.nicovideo.jp/watch/sm200 nicodl.pl #!/usr/bi

odz 2007/03/06

リンク

Beautiful Soup: We called him Tortoise because he taught us.

You didn't write that awful page. You're just trying to get some data out of it. Beautiful Soup is here to help. Since 2004, it's been saving programmers hours or days of work on quick-turnaround screen scraping projects. Beautiful Soup is a Python library designed for quick turnaround projects like screen-scraping. Three features make it powerful: Beautiful Soup provides a few simple methods and

odz 2007/02/22

汚いHTMLも parse

リンク

Hpricot, a fast and delightful HTML parser

This post is also available in: Español (Spanish) Last Updated on December 25, 2020 by Jay (Updated testing results for 2020) Summary: There are three methods available to unlock iPhone 6/6s or 6 plus/6s plus – software unlocking, hardware unlocking, and IMEI unlocking. Software unlocking is a scam and doesn’t work, and hardware unlocking can ruin your device and will void your warranty. The only