背景: 最近我在爬取某文库
问题:有些页面只有VIP才能观看,或是一个账号在今天已经达到了爬取次数限制。这样的话应该怎么解决呢?
selenium爬虫遇到VIP页面以及爬取次数限制时该怎么办
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
1条回答 默认 最新
- 彎彎廖 2021-10-24 14:10关注
- 遇到VIP页面,我想你应该需要一个VIP会员,并以登入破解。
- 限制爬取次数上,可以用proxy轮转 或 尽量拉长sleep时间 或 多办几个账号
以上浅见
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏 举报
悬赏问题
- ¥15 使用C#,asp.net读取Excel文件并保存到Oracle数据库
- ¥15 C# datagridview 单元格显示进度及值
- ¥15 thinkphp6配合social login单点登录问题
- ¥15 HFSS 中的 H 场图与 MATLAB 中绘制的 B1 场 部分对应不上
- ¥15 如何在scanpy上做差异基因和通路富集?
- ¥20 关于#硬件工程#的问题,请各位专家解答!
- ¥15 关于#matlab#的问题:期望的系统闭环传递函数为G(s)=wn^2/s^2+2¢wn+wn^2阻尼系数¢=0.707,使系统具有较小的超调量
- ¥15 FLUENT如何实现在堆积颗粒的上表面加载高斯热源
- ¥30 截图中的mathematics程序转换成matlab
- ¥15 动力学代码报错,维度不匹配