Web::Query - jQuery風にスクレイピング - tokuhirom's blog
http://frepan.org/~TOKUHIROM/Web-Query-0.01/README.pod Web::Query というスクレイピングフレームワークをかきました。一言でいうと「うごく pQuery」です。pQuery は jQuery とおなじ動きにするためかどうかしりませんが、わりと自前で実装していて、結果まともにうごいていません。うごくようになるのをまってようかなとおもっていたら2年経過していたので、自分でつくってみました(パッチをおくってもいいのだけど、別個の実装をつくったほうがはやい気がしたので)。HTML::TreeBuilder::XPath + HTML::Selector::XPath + LWP::UserAgent という構成です。 使用例は以下のとおり。 use Web::Query; wq('http://google.com/search?q=f
約700項目のHTML／スクリプト言語リファレンスを公開
日経LinuxとITproは、総計約700項目のHTML／スクリプト言語リファレンスを公開しました。「HTML」（295項目）、「CSS」（73項目）、「Dynamic HTML」（98項目）、「JavaScript」（295項目）、「Perl」（125項目）あわせて698項目。各項目にサンプルコードを掲載しており、コピーし貼り付けてすぐにお使いいただけます。JavaScriptは「この用例を実行する」という文字をクリックすれば、その場でサンプルコードを実行してみることもできます。 ファンレンスを使いこなすための記事や、「JavaScript入門」「Perlの使い方入門」「CSSの基本」「Linuxコマンド道場」「シェル・スクリプト工房」といった入門記事もご用意しました。 これらのリファレンスはここ2～3年かけて作成してきたものです。そのため一部に内容の古いものもありますが、順次更新してい
YAPC::Asia Tokyo 2010 #yapcasia - blog.comewalk.com
YAPC::Asia Tokyo 2010 に行ってきました。昨年と同様に今年も発表させていただきました。発表内容は以前もお知らせしましたように「テンプレートエンジンの移行」についてお話させていただきました。スライドは slideshare にアップロードしました。 私の発表は最初にトークを応募したときにもっともはてなスターがついていませんでしたので reject されるかヒヤヒヤしていましたがなんとか accept していただいて、とはいえ裏番組が id:lyokato さんだからガラガラかなーと思っていましたが、多くの方にお越しいただいてとてもうれしかったです。私のトークは不思議とご質問をいただくことが多く、今年も4,5つほどいただきました。隙だらけのトークで申し訳ない気持ちもありますが、逆に皆さんのご興味を持っていただいたのかと良い方向に考えてこれからも精進していきたいと思います。私
Untitled Folder
昨年は本当に忙しくて仕事一筋でした。合間にドラクエやったりしていましたがほぼほぼ仕事に明け暮れていました。MovableType.net がベータ版が公開されて一安心です。皆さんも是非使ってみてください。 最近は仕事か Ingress かのどちらかですね。よく歩いています。先日 Lv10 になりました。Lv8 まではチュートリアルでそこから Lv10 までは少ししんどかったけど Lv10 から Lv11 は結構しんどそうですね。ゴールドが4枚（実質+2枚だけど）とかどんだけかかるんだって話ですわ。まだ行っていない土地がたくさんあるのでいろいろと足を運びたいと思います。夏はビッグサイトへ行くのが楽しみです。 遅くなりましたがこのブログポストを新年のご挨拶に代えさせていただきます。今年もよろしくお願いします。 ここ 7 - 8 年は英語キーボードを使っています。この期間のうちで Windows
YAPC::Asia 2010 Tokyoで発表しました - Islands in the byte stream (legacy)
至らない点は多々ありましたが無事発表を終えることができました！ありがとうございました！ How Xslate WorksView more presentations from gorof.ちょっと捕捉します。 まず会場の質疑応答から（スライドにも簡単に追記しました）。 Q. テンプレートをPerlコードに落とし込んでperlに実行させるというモデルもあると思うが、敢えて独自VMを実装した理由は？ A. たしかに、Perlコードに落とし込むテンプレートエンジンはあり、Template::ToolkitやText::MicroTemplateなどはそうしています。しかしPerlは汎用のインタプリタであり、テンプレートのレンダリングに特化しているわけではりません。Xslateは汎用性を犠牲にし、高速化を図っています。特に、出力バッファに対する文字列の連結に大きな差があります。なので、独自VMの
Kazuho@Cybozu Labs: String::Filter っていうモジュール書いた - 続: (Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について
先のエントリ「(Twitter の XSS 脆弱性に関連して) 構造化テキストの正しいエスケープ手法について」の続き。 弾さんが「404 Blog Not Found:DHTML - 構造化テキストは構造化するのがやっぱ正しい」で示されているような DOM ベースの操作を行えば、原理的に XSS 脆弱性を防ぐことができます。ただ、クライアントサイド JavaScript によるレンダリングはウェブの構造を破壊するという点で筋が悪い（テーブルと FONT タグを利用したページレイアウトが批判されていた頃を覚えていらっしゃいますでしょうか。JavaScript によるレンダリングはウェブのリンク構造も破壊するので一層たちが悪いというのが自分の考え）ですし、サーバサイドでの DOM 操作は重たいので、できれば避けたいところです。 構造化テキストの HTML への変換は、よほど複雑な記法でない限り
ゆーすけべー日記
サキとは彼女の自宅近く、湘南台駅前のスーパーマーケットで待ち合わせをした。彼女は自転車で後から追いつくと言い、僕は大きなコインパーキングへ車を停めた。煙草を一本吸ってからスーパーマーケットへ向かうと、ひっきりなしに主婦的な女性かおばあちゃんが入り口を出たり入ったりしていた。時刻は午後5時になる。時計から目を上げると、待たせちゃったわねと大して悪びれてない様子でサキが手ぶらでやってきた。 お礼に料理を作るとはいえ、サキの家には食材が十分足りていないらしく、こうしてスーパーマーケットに寄ることになった。サキは野菜コーナーから精肉コーナーまで、まるで優秀なカーナビに導かれるように無駄なく点検していった。欲しい食材があると、2秒間程度それらを凝視し、一度手に取ったじゃがいもやら豚肉やらを迷うことなく僕が持っているカゴに放り込んだ。最後にアルコール飲料が冷やされている棚の前へ行くと、私が飲むからとチ
Perlで壊れたHTMLを補完する
タイトルの問題ですが、自分はよく以下のような関数でやります。 HTML::TreeBuilderのas_HTML()がうまいことやってくれます。 (実際にはHTML::Element::as_HTML()ですが) sub _complement_html { my $broken_html = shift; my $html = do { no strict 'refs'; no warnings 'redefine'; local *HTML::Entities::encode_entities = sub {}; local *HTML::Entities::decode = sub {}; my $tree = HTML::TreeBuilder->new; $tree->parse( $broken_html ); $tree->as_HTML; }; $html =~ s#<ht
たった＊行のコードでHTML取得＆解析をしたい場合はWeb::Scraperが便利 - 酒日記 はてな支店
なんか無茶振りされたので。 簡単！たった１３行のコードでHTML取得＆解析をするPerlスクリプト を Web::Scraper というモジュールを使って書き直すと、こんな感じになります。 use strict; use Web::Scraper; use LWP::UserAgent; use Encode; my $scraper = scraper { process "#topicsfb li" => "topics[]" => "TEXT"; }; $scraper->user_agent( LWP::UserAgent->new( agent => "Mozilla/4.0 (compatible; MSIE 8.0; Windows NT 6.1; Trident/4.0)" ) ); my $result = $scraper->scrape( URI->new("http
HTML::TreeBuilder のメソッドを覚えるには人生はみじかすぎる件について - tokuhirom's blog
HTML::TreeBuilder の ->lookup だの ->find だのを覚えるのは、学習の効率がよくない。つぶしがきかないので、もっと一般的な CSS Selector や XPath などを覚えて、それをつかった方がお得であるといえる。 HTML::TreeBuilder で XPath を利用するには、HTML::TreeBuilder::XPath をインストールすればよく、これは pure perl なので容易に利用できる。 my $tree = HTML::TreeBuilder::XPath->new; $tree->parse($content); my @items = $tree->findnodes(q{//*[@id='topicsfb']//li}); print $_->as_text."\n" for @items; とすればよい。 XPath はむ
[http://search.cpan.org/perldoc?Web::Scraper:title=Web::Scraper] をつかってみた - daily dayflower
ドキュメントねー，と思ったら Redirecting… みたいな素敵なチュートリアルがあったのでいまさらながら使えるようになりました。サンプル群も参考になりました。 はてブのホッテントリから，タイトル，URL，キーワード，タグを抜き出すのを書いてみました。わりと素直に書くとこんな感じ？ use strict; use warnings; use Web::Scraper; use Encode (); #binmode \*STDOUT, ':utf8'; my $utf8 = Encode::find_encoding('utf8'); my $target = do { if (@ARGV && ! -f $ARGV[0]) { use URI; URI->new($ARGV[0]); } else { local $_ = do { local $/; <> }; $utf8->de
![[http://search.cpan.org/perldoc?Web::Scraper:title=Web::Scraper] をつかってみた - daily dayflower](https://cdn-ak-scissors.b.st-hatena.com/image/square/7969d51e3d4058607c2e8aa1d72f353fa46b298a/height=288;version=1;width=512/https%3A%2F%2Fogimage.blog.st-hatena.com%2F12921228815719320363%2F10257846132645965437%2F1538703607)
HTML::Element と HTML::TreeBuilder で盆栽 - @kyanny's blog
HTML::Element とか HTML::TreeBuilder で HTML 構文木をいじることを盆栽と呼ぶらしいですが、最近よく盆栽してていろいろ覚えたことがあるのでメモ。 as_HTML() で HTML エンティティに変換させない HTML::Element#as_HTML を呼ぶと HTML 文字列が返るのだけど、これを引数なしで呼ぶと "all unsafe characters" が HTML エンティティに変換（エンコード）される。これは普通あまり望ましくないので（変換などせずそのまま出して欲しいことのほうが多い）、それを回避するには my $html = $elem->as_HTML('');と、空文字列を渡してやる。 HTML::TreeBuilder のインスタンスに対して as_HTML() を呼ぶと タグをつけられてしまう これはサブクラスの HTML::Tr
Template Toolkit 社内勉強会のレポート - hamashun.hatena
あちこち間違ってるという指摘を受けたのであちこち直しました＞＜ にぽたんさんによる、Template Toolkit（TT）の社内勉強会がありました。 という訳でOpen & Share！ アジェンダ 変数展開について オブジェクトからの呼び出し 意外と知られてない事 質問への回答 変数展開について TTはPerlなので、Perlに準拠する。 Perlは$とか@（シギル）で変数の型がわかるけど、TTにはそういうのがない。 しかし、型自体は持っている。 スカラー 配列 ハッシュ オブジェクト 実際は複雑で、スカラーのなかに配列とかなんか色々あるらしい。 スカラー 実は業務ではあんまり使われない。 単一の値しか持たない文字列。 または数値。 配列 一つの変数の中に複数の値を持つ値 ちなみにコード中に登場する "=" と "in" に違いはない。 全く同じ動作をする。 ちなみにFOREACH中に
「Blogger Syntax Highlighter」を Perl 対応にする方法
以前、ブログに載せたコードにハイライトをつけるウィジェット「Blogger Syntax Highlighter」というものを紹介しました。 コードをハイライトする「Blogger Syntax Highlighter」ウィジェット これに関して書かれたエントリにこんな記述が。 これは良い感じです＾＾ Perl が対応していないのは、PHP で無理やり対応させることにしようかな♪ 対応言語表を見てみると、たしかに Perl は載っていませんね。 …ということで、Perl のコードもハイライトさせる方法はないのかな？と探してみたところ、見つけたのがこちらのページ。 Damien Learns Perl: Perl syntax highlighting in Blogger こちらを参考にしながら、導入の手順をまとめておきます。 導入手順 １．まず「Blogger Syntax Highli
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
tokuhirom blog
Blog Search when-present<#else>when-missing. (These only cover the last step of the expression; to cover the whole expression, use parenthesis: (myOptionalVar.foo)!myDefault, (myOptionalVar.foo)?? ---- ---- FTL stack trace ("~" means nesting-related): - Failed at: ${entry.path} [in template "__entry.ftlh" at line 3, column 25] - Reached through: #include "__entry.ftlh" [in template "entry.ftlh" at
HTMLでカレンダーを作るのに最適なモジュールは？ - くれすのPerl日記 - Hatena::Group::Perl
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
はてなグループの終了日を2020年1月31日(金)に決定しました - はてなの告知
はてなグループの終了日を2020年1月31日(金)に決定しました 以下のエントリの通り、今年末を目処にはてなグループを終了予定である旨をお知らせしておりました。 2019年末を目処に、はてなグループの提供を終了する予定です - はてなグループ日記 このたび、正式に終了日を決定いたしましたので、以下の通りご確認ください。 終了日: 2020年1月31日(金) エクスポート希望申請期限:2020年1月31日(金) 終了日以降は、はてなグループの閲覧および投稿は行えません。日記のエクスポートが必要な方は以下の記事にしたがって手続きをしてください。 はてなグループに投稿された日記データのエクスポートについて - はてなグループ日記 ご利用のみなさまにはご迷惑をおかけいたしますが、どうぞよろしくお願いいたします。 2020-06-25 追記 はてなグループ日記のエクスポートデータは2020年2月28
HTMLから本文を抜き出せるモジュールHTML::ExtractContent - perl-mongers.org
This domain may be for sale!
[J] Perl のテンプレートエンジン - Jamz (Tech)
Text::Template これって Pure Perl な実装 ? それとも他の cpan モジュールなどが必要 ? Mark Jason Dominus (陶敏修) / Text-Template - search.cpan.org Text::Template - テンプレートファイルの読み込み - Linuxで自宅サーバ構築・管理: KSKNET HTML::Template Pure Perl 実装なので Makefile.PL とか make install が不要。 適当なディレクトリに配置して use lib (./lib) とかすればよい。 Sam Tregar / HTML-Template - search.cpan.org HTML::Template - CGIスクリプトからHTMLテンプレートを使うためのPerlモジュール HTML::Template -
リリース、障害情報などのサービスのお知らせ
最新の人気エントリーの配信
j次のブックマーク
k前のブックマーク
lあとで読む
eコメント一覧を開く
oページを開く
