[Plagger]パイプラインというエントリを読んで、そうそう、掲示板とかをPlaggerでスクレイピングするときに、トピック一覧ページと各エントリのページの2段階になってることがあるんだよな、と思った。 ただし私の場合、とりあえずCustomFeed::Configが多段になっていればいい。そこで、CustomFeed::Multistageというのを試作。 使いかたはPODのとおり。Subscription::Configのmeta:で、multistage:の中に各段のfollow_linkまたはfollow_xpathを並べる。まず1行目のfolow_*でCustomFeed::Simpleと同じように処理し、そこで抽出された各URLに対して2行目のfollow_*で処理し…と続く。理論上は何段階でも続けられる。 ただし注意が必要なのは、最終段の各ページごとにフィードが作られること