背景: 最近我在爬取某文库
问题:有些页面只有VIP才能观看,或是一个账号在今天已经达到了爬取次数限制。这样的话应该怎么解决呢?
selenium爬虫遇到VIP页面以及爬取次数限制时该怎么办
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 彎彎廖 2021-10-24 14:10关注
- 遇到VIP页面,我想你应该需要一个VIP会员,并以登入破解。
- 限制爬取次数上,可以用proxy轮转 或 尽量拉长sleep时间 或 多办几个账号
以上浅见
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 关于#matlab#的问题:在模糊控制器中选出线路信息,在simulink中根据线路信息生成速度时间目标曲线(初速度为20m/s,15秒后减为0的速度时间图像)我想问线路信息是什么
- ¥15 banner广告展示设置多少时间不怎么会消耗用户价值
- ¥16 mybatis的代理对象无法通过@Autowired装填
- ¥15 可见光定位matlab仿真
- ¥15 arduino 四自由度机械臂
- ¥15 wordpress 产品图片 GIF 没法显示
- ¥15 求三国群英传pl国战时间的修改方法
- ¥15 matlab代码代写,需写出详细代码,代价私
- ¥15 ROS系统搭建请教(跨境电商用途)
- ¥15 AIC3204的示例代码有吗,想用AIC3204测量血氧,找不到相关的代码。