从网络预览可以看到,内容应该是一个列表,使用标头里的请求网址之后,返还的却是一个网页源码,这是为什么呢?
![](https://profile-avatar.csdnimg.cn/9ebc09fe7ef84d60a0d44fcc3381ae91_huangli259837.jpg!4)
Python爬虫requests反还内容与网页内容不相同
从网络预览可以看到,内容应该是一个列表,使用标头里的请求网址之后,返还的却是一个网页源码,这是为什么呢?
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
- 邀请回答
-
2条回答 默认 最新
- CSDN专家-showbo 2022-03-09 09:00关注
requests.get得到的是源代码,ajax动态加载或者js动态生成的html代码获取不到,需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个,直接requests.get请求接口获取数据就行
https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1
示例代码如下import requests import json import urllib3 url="https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1" requests.packages.urllib3.disable_warnings() res=requests.get(url, verify=False) res.encoding = 'utf8' text=res.text o=json.loads(text) datanodes=o['returndata']['datanodes']#每个月份的数据节点 nodes=o['returndata']['wdnodes'][0]['nodes']#名称数组 for node in nodes: code=node['code'] print(node['name']) nodedata=[item for item in datanodes if item['code'].find('.'+code+'_')!=-1] for data in nodedata: print(data['code'].split('.')[-1],data['data']['data']) print('\n\n\n')
有其他问题可以继续交流~本回答被题主选为最佳回答 , 对您是否有帮助呢?解决评论 打赏 举报 编辑记录无用 1
悬赏问题
- ¥15 请问读取环境变量文件失败是什么原因?
- ¥15 在若依框架下实现人脸识别
- ¥15 网络科学导论,网络控制
- ¥100 安卓tv程序连接SQLSERVER2008问题
- ¥15 利用Sentinel-2和Landsat8做一个水库的长时序NDVI的对比,为什么Snetinel-2计算的结果最小值特别小,而Lansat8就很平均
- ¥15 metadata提取的PDF元数据,如何转换为一个Excel
- ¥15 关于arduino编程toCharArray()函数的使用
- ¥100 vc++混合CEF采用CLR方式编译报错
- ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误,如何解决?
- ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载