初学爬虫，用Chrome浏览器如是xpath(“//span/a/@href”)可以得到想要的所有链接地址。
但是，测试爬虫时候，print response.xpath(“//span/a/@href”)是没有任何数据的，请问这个如何改呢，前段也刚刚在学。
帮帮忙大神们
Python scrapy爬虫问题
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
3条回答 默认 最新
- 2022-12-14 00:18回答 1 已采纳 你要模拟参数，具体代码如下： import http.client conn = http.client.HTTPSConnection("chl.cn") #page 5 #submit 下一页
- 2021-07-22 10:03回答 2 已采纳 看下数据是否是动态加载的，多抓几次包，分析下；可能需要通过添加page参数，进行爬取！
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2024-02-04 08:49pythonscrapy爬虫实例Python爬虫Scrapy实例
- 2020-07-03 11:16回答 4 已采纳 考虑网页的内容使用了ajax，使用右键-》查看网页源代码，看是否仍然能获得指定的内容
- 2023-04-02 16:26回答 2 已采纳 好问题！！抱歉我也不太懂，你问问chatGPT吧：https://new.quke123.com/ 或者其他Python群友：https://app.yinxiang.com
- 2021-05-10 09:54回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。 另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。
- 2021-06-19 20:22Scratch，是抓取的意思，这个Python的爬虫框架叫Scrapy，大概也是这个意思吧，就叫它：小刮刮吧。 小刮刮是一个为遍历爬行网站、分解获取数据而设计的应用程序框架，它可以应用在广泛领域：数据挖掘、信息处理和或者...
- 2021-05-06 08:49回答 5 已采纳 代码中的allow_domains有误，应该为：['louqiuzw.com']。原链接会出现连接丢失错误，与没有传递headers或网页响应慢有关。尝试测试其他网页，在start_urls列出测试网
- 2022-02-07 19:41回答 1 已采纳 库安装失败了
- 2018-01-29 07:55回答 3 已采纳 你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用 https://d
- 2021-01-20 03:321 爬虫示例 要实现爬虫功能，只要执行四个步骤： 定义spider 类 确定 spider 的名称（name） 获取初始化请求（start_request） 解析数据 parse() 1.1 示例1 重写 start_request() 方法 示例1：重写 start_request() ...
- 2022-10-16 01:14回答 1 已采纳 检查一下parse item 函数的response是否是正常的
- 2022-08-08 20:56安装scrapyPip install scrapy等创建项目E:\workspace_code\workspace_py>scrapy startprojec
- 2020-09-18 20:37主要介绍了python scrapy爬虫代码及填坑,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
- 没有解决我的问题, 去提问
悬赏问题
- ¥15 扩散模型sd.webui使用时报错“Nonetype”
- ¥15 stm32流水灯＋呼吸灯＋外部中断按键
- ¥15 将二维数组，按照假设的规定，如0/1/0 == "4"，把对应列位置写成一个字符并打印输出该字符
- ¥15 NX MCD仿真与博途通讯不了啥情况
- ¥15 win11家庭中文版安装docker遇到Hyper-V启用失败解决办法整理
- ¥15 gradio的web端页面格式不对的问题
- ¥15 求大家看看Nonce如何配置
- ¥15 Matlab怎么求解含参的二重积分？
- ¥15 苹果手机突然连不上wifi了？
- ¥15 cgictest.cgi文件无法访问