运行爬虫数据不能全部正常提取只能提取部分数据，爬虫以及执行结果都在下面截图，，抱拳
2条回答 默认 最新
栀子花海 2021-08-02 17:34关注看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
本回答被题主选为最佳回答 , 对您是否有帮助呢?解决 无用评论 打赏举报
分享
- 2022-12-14 00:18回答 1 已采纳 你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2021-11-21 21:19回答 1 已采纳 你用open打开csv文件，然后以字符串格式写入就行了，每个数据之间用英文逗号隔开即可
- 2022-05-06 00:26回答 2 已采纳 你应该继承 scrapy.SpiderCrawlSpider 不要自定义 parse 函数。
- 2021-05-10 09:54回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。 另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。
- 2022-09-17 21:20回答 2 已采纳 你可以参考下这篇文章：scrapy框架中的Request()、FormRequest()、FormRequest.from_response()的小结
- 2021-08-02 15:47回答 2 已采纳 返回的数据中有None值，说明按正则获取的节点中有的就无图片链接。你可以在语句中加入 if else 去剔除掉None值。
- 2018-06-22 07:53回答 1 已采纳 用fiddler抓包看下，要么是第三页的地址或者参数没有对，要么是服务器有反爬虫的机制（比如频繁访问，返回错误页面、验证码）。
- 2022-01-07 16:37回答 2 已采纳 建议使用requests,添加参数headers,cookies，params,这样试一下。
- 没有解决我的问题, 去提问
问题事件
系统已结题
9月3日
已采纳回答
8月26日-
创建了问题
7月22日
悬赏问题
- ¥30 Matlab打开默认名称带有/的光谱数据
- ¥50 easyExcel模板 动态单元格合并列
- ¥15 res.rows如何取值使用
- ¥15 在odoo17开发环境中，怎么实现库存管理系统，或独立模块设计与AGV小车对接？开发方面应如何设计和开发？请详细解释MES或WMS在与AGV小车对接时需完成的设计和开发
- ¥15 CSP算法实现EEG特征提取，哪一步错了？
- ¥15 游戏盾如何溯源服务器真实ip?需要30个字。后面的字是凑数的
- ¥15 vue3前端取消收藏的不会引用collectId
- ¥15 delphi7 HMAC_SHA256方式加密
- ¥15 关于#qt#的问题：我想实现qcustomplot完成坐标轴
- ¥15 下列c语言代码为何输出了多余的空格