BeautifulSoupを使ってみたけど挫折した件 – taichino.com

もっぱらHTMLからの情報取得はWeb::Scraperな訳ですが、GAE上でもスクレイピングできたら嬉しいのでBeautifulSoupを使ってみたのですが挫折したメモ書きです。 まずは手始めに以下のscraperでYahoo Japanのトップページから タイトルとtopicsのURLを取得するperlスクリプトを移植してみる事にしました。 #!/usr/bin/perl use strict; use warnings; use LWP::Simple; use Web::Scraper; use YAML; my $content = get("http://yahoo.co.jp"); my $scraper = scraper { process '//title', 'title' => 'TEXT'; process '//a[@href =~ /.+topics.+/]'

[mactkg]

html5っていうか、モダンな作りのサイトはパースできないなぁと思ってたら、やっぱりコレだったっぽいなぁ