π¢ 2022-03-08 22:50 采纳率: 66.7%
浏览 249
已结题

Python爬虫requests反还内容与网页内容不相同

img

img


从网络预览可以看到,内容应该是一个列表,使用标头里的请求网址之后,返还的却是一个网页源码,这是为什么呢?

  • 写回答

2条回答 默认 最新

  • CSDN专家-showbo 2022-03-09 09:00
    关注

    requests.get得到的是源代码,ajax动态加载或者js动态生成的html代码获取不到,需要直接请求接口获取数据或者从源代码中找到js数据源进行解析。截图中右边块的数据接口为下面这个,直接requests.get请求接口获取数据就行
    https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1

    img


    示例代码如下

    import requests
    import json
    import urllib3
    
    url="https://data.stats.gov.cn/easyquery.htm?m=QueryData&dbcode=hgyd&rowcode=zb&colcode=sj&wds=%5B%5D&dfwds=%5B%5D&k1=1646787266750&h=1"
    
    requests.packages.urllib3.disable_warnings()
    
    res=requests.get(url, verify=False)
    res.encoding = 'utf8'
    text=res.text
    o=json.loads(text)
    
    
    datanodes=o['returndata']['datanodes']#每个月份的数据节点
    nodes=o['returndata']['wdnodes'][0]['nodes']#名称数组
    for node in nodes:
        code=node['code']
        print(node['name'])
        nodedata=[item for item in datanodes if item['code'].find('.'+code+'_')!=-1]
        for data in nodedata:
            print(data['code'].split('.')[-1],data['data']['data'])
        print('\n\n\n')
    
    

    img


    有其他问题可以继续交流~

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 3月18日
  • 已采纳回答 3月10日
  • 修改了问题 3月9日
  • 修改了问题 3月9日
  • 展开全部

悬赏问题

  • ¥15 使用ESP8266连接阿里云出现问题
  • ¥15 BP神经网络控制倒立摆
  • ¥20 要这个数学建模编程的代码 并且能完整允许出来结果 完整的过程和数据的结果
  • ¥15 html5+css和javascript有人可以帮吗?图片要怎么插入代码里面啊
  • ¥30 Unity接入微信SDK 无法开启摄像头
  • ¥20 有偿 写代码 要用特定的软件anaconda 里的jvpyter 用python3写
  • ¥20 cad图纸,chx-3六轴码垛机器人
  • ¥15 移动摄像头专网需要解vlan
  • ¥20 access多表提取相同字段数据并合并
  • ¥20 基于MSP430f5529的MPU6050驱动,求出欧拉角