秋夜茶语 2022-01-27 16:25 采纳率: 100%
浏览 317
已结题

python爬虫request后返回值为空

问题遇到的现象和发生背景

最近在学习爬虫,返回值为空,不知道问题出在哪里

问题相关代码,请勿粘贴截图

import requests
import time

headers = {
'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36',
'referer':'http://www.jiangsu.gov.cn/col/col59202/index.html?uid=158542&pageNum=1%27
}
res = requests.get('http://www.jiangsu.gov.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=20&perpage=19',headers=headers)
print(res.text)

运行结果及报错内容

img

img

  • 写回答

2条回答 默认 最新

  • CSDN专家-showbo 2022-01-27 16:39
    关注

    接口需要post请求并发送数据,题主get请求没用

    img


    改下面就可以了,注意不能采集太快,有防火墙会拦截。。-_-||。。。

    img

    import requests
    import time
    
    headers = {
    'user-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/97.0.4692.99 Safari/537.36 Edg/97.0.1072.69',
    'referer':'http://www.jiangsu.gov.cn/col/col59202/index.html?uid=158542&pageNum=1',
    'X-Requested-With':'XMLHttpRequest'
    }
    data={'col': 1,
    'appid': 1,
    'webid': 1,
    'path': '/',
    'columnid': 59202,
    'sourceContentType': 1,
    'unitid': 158542,
    'webname': '江苏省人民政府',
    'permissiontype': 0}
    res = requests.post('http://www.jiangsu.gov.cn/module/web/jpage/dataproxy.jsp?startrecord=1&endrecord=19&perpage=19',headers=headers,data=data)
    print(res.text)
    
    

    img

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论 编辑记录
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 2月4日
  • 已采纳回答 1月27日
  • 创建了问题 1月27日

悬赏问题

  • ¥15 在hololens1上运行unity项目只有空窗口
  • ¥25 TABLEAU PREP无法打开
  • ¥15 关于#c语言#的问题:求完整代码条件好说
  • ¥15 (需要远程,AI不回)VB6二进制文件转换成功,但是C#转换总是失败
  • ¥15 关于#matlab#的问题:有没有什么其他办法能够保证不退出进程(相关搜索:matlab调用)
  • ¥15 依据报错在原代吗格式的基础上解决问题
  • ¥15 在虚拟机中安装flash code
  • ¥15 单片机stm32f10x编写光敏电阻调节3.3伏大功率灯亮度(光强越大灯越暗,白天正常光强灯不亮,使用ADC,PWM等模块)望各位找一下错误或者提供一个可实现功能的代码
  • ¥20 verilog状态机方法流水灯
  • ¥15 pandas代码实现不了意图