Frozennnn 2021-09-08 11:50 采纳率: 50%
浏览 540
已结题

python 爬虫 post请求返回的数据不全,和postman模拟的不一样,关键内容是个空列表

本人小白用爬虫爬取辽宁省政府招标信息的代码如下:


import requests
import datetime
agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
head={
    "User-Agent":agent,
    }
url = "http://www.ccgp-liaoning.gov.cn/portalindex.do"
params = {
    "method": "getPubInfoList",
    "t_k": None,
    }
data = {  
    "current": 1,
    "rowCount": 10,
    "searchPhrase": None,
    "district": None,
    "releaseDateStart": (datetime.datetime.now() + datetime.timedelta(days=-60)).strftime('%Y-%m-%d'),
    "releaseDateEnd": datetime.datetime.now().strftime('%Y-%m-%d'),
    "infoTypeCode": 1001,
    "year": None,
    "title": "柴油",
    "privateOrCity": 1,
        }
try:
    response = requests.post(url, params=params, data=data, headers=head, timeout=10)
    print(response.text)

返回结果为,rows中没有数据


{"current":1,"rowCount":10,"rows":[],"total":0}

用postman模拟相同参数请返回有数据

img

img

尝试过headers中加入Cookie,然而并没有用

  • 写回答

2条回答 默认 最新

  • CSDN专家-文盲老顾 2021-09-08 12:52
    关注

    经过实际测试,该站对 refer和 origin 没有验证,却验证了 content-type,你在header里加上content-type就可以了

    
    
    
    import requests
    import datetime
    agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
    head={
        "User-Agent":agent,
        "content-type":'application/x-www-form-urlencoded; charset=UTF-8'
        }
    url = "http://www.ccgp-liaoning.gov.cn/portalindex.do?method=getPubInfoList&t_k=null"
    params = {
        "method": "getPubInfoList",
        "t_k": None,
        }
    data = {  
        "current": 1,
        "rowCount": 10,
        "searchPhrase": '',
        "district": '',
        "releaseDateStart": '',
        "releaseDateEnd":'',
        "infoTypeCode": 1001,
        "year": '',
        "title": "柴油",
        "privateOrCity": 1,
        }
    try:
        response = requests.post(url, params=params, data=data, headers=head, timeout=10)
        print(response.text)
    except:
        print('err')
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月8日

悬赏问题

  • ¥15 【悬赏】canvas 椭圆形内小球边缘与小球碰撞检测
  • ¥50 Delphi5环境下图片文件怎么转换成Base64编码?
  • ¥15 将GPDO_0引|脚设首成PWM1的输出引脚 实验编程该怎么写
  • ¥50 阿里云服务器 CentOS7.9 搭建 openvpn 服务
  • ¥100 开源软件弱点处理规范
  • ¥15 excel如何根据文件名自动搜索并批量导入文件?
  • ¥15 VScode 用户代码片段图标
  • ¥15 streamingtool
  • ¥15 MATLAB图像问题
  • ¥20 树莓派5做人脸情感识别与反馈系统