Beautiful Soupドキュメント — BeautifulSoup Document 3.0 ドキュメント
Beautiful Soupドキュメント¶ Beautiful Soupはpythonで動作するHTMLとXMLのパーサーです。Beautiful Soupはパースしたツリーの操作、検索、変更を簡単に、かつ、今までと同じ方法でできます。これにより、プログラマーの仕事時間を節約します。また、Rubyful SoupというRuby版もあります。 このドキュメントはBeautiful Soupのバージョン3.0における主要な機能をサンプル付きで説明します。このドキュメントを読めばこのライブラリがどんなに良いか、どうやって動いているか、どうやって使うか、やりたいことをどうやって実現するか、予想と異なる動作をした場合になにをすればいいのかが分かります。 クイックスタート¶ Beautiful Soupをここから手に入れます。ChangeLogにはバージョン3.0とそれ以前のバージョンとの違いが書かれ
PythonでBeautiful Soupを試してみる。
PythonでHTMLの解析を行うのによさそうだったので、 試してみることにした。 まず必要なのが、 BeautifulSoup まずインストール（ってかファイルをPythonが読める場所にBeautifulSoup.pyを置くだけ。） ここからダウンロードする。 それを今回は「site-packages」の下に置いてみた。 清水川Webを参考にさせてもらったためです。 やってみます。 >>> import urllib2 >>> opener = urllib2.build_opener() >>> html = opener.open(‘https://kishi-r.com/2008/02/ubuntu_1.html’).read() >>> print html HTML内の情報が表示されました。 ここでBeautifulSoupを使って「title」のみを解析してみます。 >>>
Python で Mechanize と BeautifulSoup を使用して SNS をスクレイピングする。
俺が普段使っているSNSの一つに ファンタジーアースSNS というのがあって、これは同名のゲーム(要約すると50人1チームで戦争するゲームです)と連動して戦争の成績が見れたり各国毎の統計が見れたりとなかなか便利な仕組みになってます。 ただ、各戦争毎に表示される個人成績や召還数といった値は各戦争結果ページでしか得られず、ゲーム内で参照できる戦績表示では今まで行った全ての戦争に対して行われる為、直近10件の戦争が見たいなどという場合には手で計算するとかしないといけなくて大変不便です。 というわけで SNS をスクレイピングして各値を拾って表示するスクリプトを組みました。全戦争読み込んだり平均値出したりとかは全然作りこんでないのでその辺は勝手に改良すると良いです。もっともこのSNSは大変重いのでスクリプトを実行する場合はアクセスの間隔あけるとかしてサーバに負荷が掛からない様に御願いします。 必要
pyquery: a jquery-like library for python — pyquery 1.2.4 documentation
pyquery: a jquery-like library for python¶ pyquery allows you to make jquery queries on xml documents. The API is as much as possible the similar to jquery. pyquery uses lxml for fast xml and html manipulation. This is not (or at least not yet) a library to produce or interact with javascript code. I just liked the jquery API and I missed it in python so I told myself “Hey let’s make jquery in pyt
Panopticon :: Python :: BeautifulSoupを触ってみる
ちょっとHTMLをパースする必要があったので、BeautifulSoupを使ってみました。参考にさせていただいたサイトはこちら。 あかさかランチにっき: BeautifulSoupによるスクレイピングの練習 あかさかランチにっき: 続・BeautifulSoupのスクレイピングの練習 Perl使いのPythonちゃん: BeautifulSoupでHTML解析 Perl使いのPythonちゃん: PythonでGoogleの表示順位を取得 特定タグの抽出 >>> from BeautifulSoup import BeautifulSoup >>> import urllib2 >>> url = 'http://www.crummy.com/software/BeautifulSoup/documentation.html' >>> html = urllib2.urlopen(u
node/websocket とknockout.jsでRSSリーダー作ってみた - mizchi log
風邪引いてるっぽくて頭痛と吐き気がひどいのですが、昨日作ったコード置いておきます GitHub - mizchi-sandbox/node-rss-reader: LDRっぽいRSSリーダー http://w-mtlab.com:2000 にサンプルを置いておきます これは僕(mizchi)の未読です (共通の未読管理フラグ使ってるので、誰かが読んでしまってると読めません) コード総数は600行ぐらいなので、サンプルにはなると思います。プリントデバッグの名残が大量に残ってますが… 挙動はほぼLDRのjksaoのクローンです。マウスオペレーションはサポートしていません。 zappa.jsとKnockout.jsとwebsocketの練習がてら作りました。 knocout.js使ってみた感想 knockout.jsよかった(小学生並みの感想) いや、風邪引いて頭悪いので後日フレームワークの感想
nodejsでjQueryでスクレイピングしながら本文抽出にかける - mizchi log
バイトで本文抽出器を作成する必要あったのでいろいろ試していた 用意 npm install extract-contet request jquery jsdomid:yssk22さんのextractcontentを使う。 やる hackers newsのエントリ一覧にかけてみる。 coffee-script request = require('request') jsdom = require('jsdom').jsdom jquery = require('jquery') extractor = require('extractcontent') fetch = (uri,fn)-> request uri:uri, (error, response, body)-> fn error,jquery.create jsdom(body).createWindow() extract
node.jsとjQueryでスクレイピングするウェブアプリの作り方
やっぱ jQuery 便利ですよ(*´・ω・)(・ω・｀*)ﾈｰ セレクタ使って jQuery でダカダカやってると、DOM とか正規表現でネチネチやるのがバカらしくなっちゃいます。 と日頃から思ってたりしてまして、サーバサイド JavaScript がメインストリームになって、jQuery でウェブアプリをコーディングできれば超ラクできるかもと期待しています。 で、先日サーバサイドJavaScriptとjQueryでスクレイピングという記事をうpったところ、やっぱ Rhino じゃなくて node.js がえーんよ(´･ω･｀)というコメントを頂きましたので、node.js と jQuery でサーバサイド JavaScript スクレイピングしてみることにしました。 今回は node.js ですので、単にスクレイピングする（コマンドラインから実行する）スクリプトだけじゃなくて、スクレイ
1
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
RubyでSeleniumを使ってスクレイピング - Qiita
Webクローリング＆スクレイピングの最前線 公開用
Pythonでスクレイピング - i2bsの日記