用selenium爬取淘宝多页数据时，只是重复打印一页
用selenium爬取淘宝多页数据时，只是重复打印一页
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
5条回答 默认 最新
木三136 2021-04-07 11:28关注如果没看错的话，您在data函数中做了3次循环，是想爬前三页的数据吗？
如果是的话，问题就出在soup上，您的soup是第一页的内容，不管循环多少次，都是在对第一页进行操作
本回答被题主选为最佳回答 , 对您是否有帮助呢?评论 打赏解决 1无用举报 分享
- 2021-04-06 22:14回答 5 已采纳 如果没看错的话，您在data函数中做了3次循环，是想爬前三页的数据吗？ 如果是的话，问题就出在soup上，您的soup是第一页的内容，不管循环多少次，都是在对第一页进行操作
- 2021-10-24 12:56回答 1 已采纳 遇到VIP页面，我想你应该需要一个VIP会员，并以登入破解。 限制爬取次数上，可以用proxy轮转 或 尽量拉长sleep时间 或 多办几个账号 以上浅见
- 2021-04-16 18:12回答 4 已采纳 data中不是循环了两次吗？所以最多爬取两页的数据。有一个问题， browser.get(f"https://s.taobao.com/search?q={value}&s={b}") b +=
- 2020-03-11 17:15Alex-YiWang的博客 之前没有接触过爬虫或者是HTML，但是周围有好多人是因为爬虫才学习的Python。整体思路参照了大神的博客：参考博客【1】。因为不确定数据是否授权，对网站信息进行了隐藏，只...需要安装：Python3，Selenium，Chrome...
- 2019-07-22 19:03回答 1 已采纳 https://www.cnblogs.com/tobecrazy/p/4570494.html
- 2022-02-19 20:26回答 3 已采纳 你是用requests爬取网页的吗 你检查下这个网页中的内容是不是通过js代码读取外部json数据来动态更新的。requests只能获取网页的静态源代码，动态更新的内容取不到。对于动态更新的内容要用s
- 2022-07-25 22:13回答 1 已采纳 直接抓取不行吗https://gddqt.com/api/index/get_charge_standard?page=1https://gddqt.com/api/index/get_charge_
- 2022-04-08 16:23降温vae+的博客 文章目录1.准备工作2.接口分析3.页面分析4....比如，淘宝，它的整个页面数据构造也是用过Ajax获取的，但是这些Ajax接口参数比较复杂，可能会包含加密密钥等，所以如果想自己构造Ajax参数，还是比较
- 2022-06-24 19:43回答 1 已采纳 其实有的，但是这个网站应该是为了懒加载把url用base64密了一下，然后再动态加载， 其实我下面发的这个就是url 是base64后的url 解码后就是https://s1.aigei.com/
- 2022-05-30 11:04回答 1 已采纳 就两种方式啊，要么使用页面爬取要么通过请求接口的方式爬取，当然请求接口的方式速度是最快的，但是太频繁容易被检测出事爬虫，那就把爬取的速度稍微放慢一点，中间设置一个等待时间，尽量模拟是人的操作，还有就是
- 2021-08-11 10:57回答 2 已采纳 如果短时间内频繁访问网站，很可能会被反爬，你主要看selenium打开的网页是否正常，如果正常就能爬的
- 2020-12-24 23:19孟德9413的博客 “一切不经过项目验证的代码都是耍流氓，今天我们就通过一个简单的招聘网站的数据归档进行当前热门岗位的大数据分析，最后以wordcloud进行显示。本文为数据爬取篇。”项目准备：这次我们来比较完整的抓取拉勾网上面...
- 2021-10-23 09:38回答 1 已采纳 错误的信息大概意思是：你要点击的元素没有被挂载在dom树中(页面上)大概看了一下你的代码：首先这个问题是因为你在切换窗口后，没有切换回到起始的窗口。elements = driver.find_ele
- 2020-07-19 17:27come-昂-的博客 Selenium Python 绑定提供了一个简单的 API，用于使用 Selenium WebDriver 编写功能/验收测试。通过 Selenium Python API，您可以直观地访问 Selenium WebDriver 的所有功能。 selenium为我们提供了一个自动操作...
- 2023-04-30 17:27青春不朽512的博客 Selenium是一个自动化测试工具，它可以...与常用的BeautifulSoup、requests等爬虫库不同，Selenium可以处理JavaScript动态加载的内容，因此对于那些需要模拟用户交互才能获取的数据，Selenium是一个非常合适的选择。
- 没有解决我的问题, 去提问
悬赏问题
- ¥20 机器学习能否像多层线性模型一样处理嵌套数据
- ¥20 西门子S7-Graph,S7-300，梯形图
- ¥50 用易语言http 访问不了网页
- ¥50 safari浏览器fetch提交数据后数据丢失问题
- ¥15 matlab不知道怎么改，求解答！！
- ¥15 永磁直线电机的电流环pi调不出来
- ¥15 用stata实现聚类的代码
- ¥15 请问paddlehub能支持移动端开发吗？在Android studio上该如何部署？
- ¥20 docker里部署springboot项目，访问不到扬声器
- ¥15 netty整合springboot之后自动重连失效