(pipes書く人向け)Yahoo Pipes のチューニング - m2

前回のエントリではめんどくさくて結果だけにしちゃいましたが、一番言いたかったチューニングがあんまり注目されてないのでちゃんと書いてみます。 かなり面倒 Yahoo! Pipes の応答速度が結構遅くて、１箇所変更しては２?３秒待っては確認を繰り返す必要あり。根気が必要。 これ、私の場合は 20 秒でした。根気ってレベルじゃない。 ボトルネックは「Regex モジュール」 pipesエディタはよくできていて、選択した工程までの結果とかかった時間を表示してくれます。なのでどこがボトルネックなのかが一目瞭然です。 以下は上で紹介している「Yahoo! Pipes の Page Fetch モジュールでスクレイピングし放題」の「はてブ ブックマーク件数一括取得API」のpipesエディタ画面。 まずは Regex モジュールの前まで。 「Time taken: 0.377219s」と出てますね。

[raimon49]

Loopモジュール　速いけど複雑になる

[aki77]

『正規表現を見直すだけで 20 秒が数秒になりました。あと、Regex モジュールではオプションを何も付けない方が早そうです。(sオプションを外して「[\s\S]*」に変えるだけでも早くなる)』

[poafag]

YahooPipes高速化

[se-mi]

昨日ちょうど「pipes遅いよねー」って話をしてたところ

[nitoyon]

Pipesの高速化テクニック。Regex を Loop＋String Regex に置き換える。まにあっくすぎる…！

[poolmmjp]

RegexよりもLoop+StringRegexの方が速いらしい。知らなかった。あとRegexモジュールは対象の文字数が多すぎるとエラーになる問題もある。けど置換後の文字列に他要素の値を含めるのってStringRegexでできたかなあ。