エントリーの編集
エントリーの編集は全ユーザーに共通の機能です。
必ずガイドラインを一読の上ご利用ください。
記事へのコメント1件
- 注目コメント
- 新着コメント
注目コメント算出アルゴリズムの一部にLINEヤフー株式会社の「建設的コメント順位付けモデルAPI」を使用しています
- バナー広告なし
- ミュート機能あり
- ダークモード搭載
関連記事
LambdaのIPアドレスは分散されるのか
事の始まり 最近、趣味でサイトのスクレイピングとか簡単なものを作ったりしている。 もちろん対象サイ... 事の始まり 最近、趣味でサイトのスクレイピングとか簡単なものを作ったりしている。 もちろん対象サイトに負荷をかけないようにするのはそうなんだけど、単純にBANされないようにする方法を考えた時に、UserAgentをちゃんと定義したりする以外に、やはりIPアドレスの分散は課題である。 そこで、Lambdaでスクレイピングした場合に、接続元のIPアドレスはどの程度固定になり、どの程度分散されるのか調査してみました。 IPアドレスチェック用のLambda まず、単純にIPアドレスが返ってくる簡単なLambdaを作成した。 これでCloudWatchLogsにログが記録されるため、IPアドレスがわかるようになる。 import json import requests from datetime import datetime, timedelta, timezone def lambda_han
2021/07/10 リンク