無料Webクローラー「EasySpider」 プログラミングスキル不要、マウスクリックだけで操作可能

このコーナーでは、2014年から先端テクノロジーの研究を論文単位で記事にしているWebメディア「Seamless」（シームレス）を主宰する山下裕毅氏が執筆。新規性の高い科学論文を山下氏がピックアップし、解説する。 Twitter: ＠shiropen2 シンガポール国立大学と中国の浙江大学に所属する研究者らが発表した論文「EasySpider: A No-Code Visual System for Crawling the Web」は、Excelを使用するように視覚的にWebスクレイピングタスクを設計し、実行できるカスタマイズ可能なWebクローラーシステムを提案した研究報告である。公式ページはこちら。 このシステムは、マウス操作のGUI（Graphical User Interface）を使用して提供されており、コーディングの経験がなくても使えるため、ノンプログラマーでも簡単にタスクを設

[ustam]

あまり気軽にスクレイピングできるようにして欲しくないなぁ…。ツイッターじゃないけど、無駄にサーバー代が跳ね上がってしまうので。

[ka5me]

無料Webクーラーって何だって願望が漏れるくらい暑い

[kagehiens]

こないだなにかの規約に「スパイダーは禁止」と書いてあったの、これかぁ。

[uunfo]

Yahoo! pipesの夢よ再び／なんだこの例え「Excelを使用するように」

[gogatsu26]

即アク禁対象

[satoshihirai1]

ScrapeStormもプログラミング不要なWebスクレイピングツールですよ。

[winniemouse]

試す

[kagoyax]

スクレイピングとDDOSって目的が異なるだけで本質的には同じ

[Helfard]

へーすごい。

[nori__3]

言うほどスクレイピングする必要あるか？

[hatest]

苦労なくできるのにクローラー（苦労らー）っておかしくないですか

[naka-06_18]

もりあがってますね

[kaiton]

どこかで使えるかな？

[tyosuke2011]

簡単そう

[VertexAI]

UWSC

[nilab]

"ソースコードは公開されており、広告は表示されない。また、マニュアルに記載されている全ての機能は無料で利用できる。さらに、他のシステム（例えばDBMSやHDFSなど）と連携してマイクロサービスとしても使用できる"

[m7g6s]

本当に必要な時に使う人ばかりならいいんだが、必要もないのに常時走らせてるような頭おかしい奴らが使うからなぁこういうの

[dkfj]

これ良さげだな。覚えておこう

[opnihc]

ChatGPTがスクレイピングのハードル下げ過ぎてる。ちょっとしたクローラなら1時間くらいでできちゃうからマジ要らん

[reef]

スクレイピング

[T-miura]

BOT brock突破できるやつなんかね？最近、頭使わんと突破できんのちょいちょいあって、日々戦っている

[kotesaki]

メモ

[fnskun]

“Windows、Linux、MacOSに対応しており、無料で広告もなく、オープンソースである”

[Seamless]

データ収集したいサイトを見ながら直感的にタスク内容を設定,プログラムなしでクローラー作業が可能。10ページ全てからデータを収集する時間は約90秒。