【Linux】スクレイピングにはNordVPNが便利・設定方法を解説

Webスクレイピングをしたいのだけど、VPNやプロキシーで一番良いサービスはないだろうか！？ Linuxで使えるベストなVPNサービスを教えてほしい！ …という形に、最適なプラクティスをご紹介します。 ということで、こんにちは！ Webサイトを自動で取得する「Webスクレイピング」をする上で、必ずネックとなるのがアクセスするIPアドレスの問題です。 スクレイピングする対象のサービスの営業妨害にならない範囲でスクレイピングするのは言うまでもない当然の話ですが、Webサイトによっては、少しのアクセスでも不正なアクセスと認識してIPアドレスごとブロックしてしまうことがあります。 これを回避するためには、定期的なIPアドレス変更などの対応が必要です。 一般的にはこうした問題はプロキシーやVPNサービスを使って回避することになりますが、具体的にはどうしたら良いのでしょう？ 結論を言いますと、「Nor

[prozorec]

「少しのアクセスでも不正なアクセスと認識してIPアドレスごとブロックしてしまうことがあります」←ブロックされるなら少しじゃないのでは？

[takuya_1st]

NordVPNのIP全体ブロックされる未来しか見えない。てか、PPPoEでIP変えるとか失われた知識になったの

[rti7743]

相手が過剰なアクセスとしてブロックするんだったら、それ以上クローラーで回るべきじゃないと思うけどなあ。VPNでIP変えてもアクセス量は変わらんわけだし。ノーと言われたら立ち去るでいいんじゃないか。

[daira4000]

Librahackとかもう忘れちゃったの？それとも知らない？

[ya--mada]

近年はCDN/WAFのお気軽導入のお陰で、ソースIPがDC/Hostingに分類されたら遮断とか容易なので、実際にそういう振る舞いをするサイトが増え始めてる。

[civicpg]

「ブロック」という明示的に向こうからの拒否が観測できてるなら、もう迷惑レベルだって気づこうよ。

[hatakazu93]

技術

[Automator]

[sc[VPN]

[mysql8]

図書館に1秒おきでもだめだよ

[ys0000]

糞記事め。相手は迷惑だからブロックするんだよ。図々しいな。robots.txtも無視してそう。

[otchy210]

IP アドレスごとブロックされるようなアクセスは「少し」じゃないよ。まあ、図書館の例もあるが、超レアケース (だよね？？)

[pwatermark]

ねえ、おじさんはなんで許可取ってデータもらわないの？

[ragari]

ドンビーイーボー

[kamm]

これを記事にして紹介するのは危うくないか？岡崎図書館時間の言い訳できない版に感じる

[T-norf]

焼畑的にブロックされ続けるのはもちろんNGだけど、あまりに制限厳しくて、確実にブロックされない線でもう1台増やしてというシチュエーションはあるので、まあグレーゾーンとしてアリだと思う。

[NOV1975]

スクレイピング自体には善悪はないが、お作法を破ると対抗手段ができて、それを回避しようとすると攻撃と判定される、というのは仕方ないよ。複数IP使ってまでやるスクレイピングなんて筋悪じゃん。

[Snail]

こういうのがホッテントリに上がるようになるくらいスクレイピングは一般化してきたんだろうか？VPNでIPスイッチしてぶん回すみたいのは、裏でコソコソやるのが常識だと思っていただけに、凄いカルチャーショックだわ

[rgfx]

CDNのbot検知に弾かれるパターンか。 https://www.akamai.com/ja/products/bot-manager

[AltT]

ただでさえ繋がらないサイトあるわけだからやめてほしいなあ

[circled]

NordVPNの払い出しIPアドレスに迷惑かけてるだけですがな。

[kazema_tsu]

これは本来の使い方なのかな。そうじゃないなら良くない。

[kobito19]

オンラインゲーム界隈とかで使われてる意味のVPNやな。この目的を達成するのにVPNなんか必要ないやろ

[verda]

回避すな

[like_futsal]

スクレイピング

[hiroomi]

“NordVPNであれば、Linux上で自動的にIPアドレスを変更し、都度ランダムなIPアドレスで接続することが出来ます”

[enemyoffreedom]

connect --legacyオプション / 追記: ぱっと見公式サイトにもないCLIオプションの解説があったのでブクマして記事内容はよく見てなかったが、たしかによろしくない内容かな