碰到了个很奇葩的事。
爬取商品详情页信息时，使用Fiddle的代理做分析，运行代码，无论访问多么频繁，没有问题。
不使用代理访问，访问频繁，开始报错了。。。。大概4秒访问两次报错
requests.exceptions.ConnectionError: ('Connection aborted.', RemoteDisconnected('Remote end closed connection without response'))
这是为什么呢？有什么好的解决方法
关于淘宝详情页爬虫的问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答 默认 最新
- 2022-04-29 11:12回答 1 已采纳 我给你改了一下，你对比看看吧： from bs4 import BeautifulSoup import pandas as pd import requests def crawer_travel
- 2022-03-02 15:43回答 1 已采纳 lis = re.findall(p, html, re.M|re.I|re.S)
- 2022-08-05 22:07回答 5 已采纳 dic_page=response.text 改成 dic_page=response.json() response.text 获取的是字符串,应该用response.json()获取的才是解析
- 2020-09-20 18:27主要为大家详细介绍了python爬取淘宝商品详情页数据的相关资料，具有一定的参考价值，感兴趣的小伙伴们可以参考一下
- 2022-07-20 16:54回答 3 已采纳 首先，你这里写错了divs = query(".cm-content-box").items()
- 2021-03-25 14:18回答 4 已采纳 换代理，或在requests.get时加长超时设置，timeout=20。
- 2023-01-25 08:46回答 3 已采纳 您遇到的错误是由于 urllib3 库版本不匹配导致的。在这种情况下，您可以尝试升级或降级 urllib3 库的版本来解决问题。 另外，在代码中使用 'requests' 和 'lxml' 两个库进行
- 2021-03-10 23:34淘宝爬取详情页面
- 2022-08-15 09:11回答 1 已采纳 应该是css选择器里面的规则不够明确，可改成href = selectors.css('div.container div div div ul li a::attr(href)').getall()
- 2022-10-09 11:41回答 2 已采纳
- 2023-04-06 21:17回答 2 已采纳 根据代码片段，您的问题可能出现在XPath表达式上。您在获取评论列表的Xpath表达式中使用了.format(j)，但是您并没有在字符串中使用花括号来表示要替换的值。因此，.format(j)部分被忽
- 2020-12-06 03:24weixin_39833454的博客 淘宝天猫商品抓取数据来源 --TTyb2017-11-118581833本文基于360浏览器查看源码，python3.4编码 ，爬虫基础需要学习的请看爬虫教程。淘宝天猫的网页反爬虫很严重，存在大量的验证码、登陆提示、浏览限制等等机制，...
- 2022-04-09 22:19回答 2 已采纳 用pypy,namba（需重构，加装饰器）,cython（需重构，显式声明类型）用正则表达式更快，但适用性会降低灵活运用异步减少中间值的使用少用for循环控制线程数量，考虑协程、多进程，因为有GIL的
- 2021-01-18 22:40青年夏日科技的博客 在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示： 当这个插件处于关闭状态时，待爬取的页面显示的数据如下: 当这个...
- 2018-10-26 17:00步步为营fs的博客 在讲爬取淘宝详情页数据之前，先来介绍一款 Chrome 插件：Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容)，如下图所示： 当这个插件处于关闭状态时，待爬取的页面显示的数据如下: 当这...
- 没有解决我的问题, 去提问
悬赏问题
- ¥65 永磁型步进电机PID算法
- ¥15 sqlite 附加（attach database）加密数据库时，返回26是什么原因呢？
- ¥88 找成都本地经验丰富懂小程序开发的技术大咖
- ¥15 如何处理复杂数据表格的除法运算
- ¥15 如何用stc8h1k08的片子做485数据透传的功能？(关键词-串口)
- ¥15 有兄弟姐妹会用word插图功能制作类似citespace的图片吗？
- ¥15 latex怎么处理论文引理引用参考文献
- ¥15 请教：如何用postman调用本地虚拟机区块链接上的合约？
- ¥15 为什么使用javacv转封装rtsp为rtmp时出现如下问题：[h264 @ 000000004faf7500]no frame？
- ¥15 乘性高斯噪声在深度学习网络中的应用