Frozennnn 2021-09-08 11:50 采纳率: 50%
浏览 580
已结题

python 爬虫 post请求返回的数据不全,和postman模拟的不一样,关键内容是个空列表

本人小白用爬虫爬取辽宁省政府招标信息的代码如下:


import requests
import datetime
agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
head={
    "User-Agent":agent,
    }
url = "http://www.ccgp-liaoning.gov.cn/portalindex.do"
params = {
    "method": "getPubInfoList",
    "t_k": None,
    }
data = {  
    "current": 1,
    "rowCount": 10,
    "searchPhrase": None,
    "district": None,
    "releaseDateStart": (datetime.datetime.now() + datetime.timedelta(days=-60)).strftime('%Y-%m-%d'),
    "releaseDateEnd": datetime.datetime.now().strftime('%Y-%m-%d'),
    "infoTypeCode": 1001,
    "year": None,
    "title": "柴油",
    "privateOrCity": 1,
        }
try:
    response = requests.post(url, params=params, data=data, headers=head, timeout=10)
    print(response.text)

返回结果为,rows中没有数据


{"current":1,"rowCount":10,"rows":[],"total":0}

用postman模拟相同参数请返回有数据

img

img

尝试过headers中加入Cookie,然而并没有用

  • 写回答

2条回答 默认 最新

  • CSDN专家-文盲老顾 2021-09-08 12:52
    关注

    经过实际测试,该站对 refer和 origin 没有验证,却验证了 content-type,你在header里加上content-type就可以了

    
    
    
    import requests
    import datetime
    agent = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/92.0.4515.159 Safari/537.36"
    head={
        "User-Agent":agent,
        "content-type":'application/x-www-form-urlencoded; charset=UTF-8'
        }
    url = "http://www.ccgp-liaoning.gov.cn/portalindex.do?method=getPubInfoList&t_k=null"
    params = {
        "method": "getPubInfoList",
        "t_k": None,
        }
    data = {  
        "current": 1,
        "rowCount": 10,
        "searchPhrase": '',
        "district": '',
        "releaseDateStart": '',
        "releaseDateEnd":'',
        "infoTypeCode": 1001,
        "year": '',
        "title": "柴油",
        "privateOrCity": 1,
        }
    try:
        response = requests.post(url, params=params, data=data, headers=head, timeout=10)
        print(response.text)
    except:
        print('err')
    
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

问题事件

  • 系统已结题 9月16日
  • 已采纳回答 9月8日
  • 创建了问题 9月8日

悬赏问题

  • ¥15 关于#wireshark#的问题:并且能够给数据做标注,如这个流量是在看视频或者是在转账
  • ¥90 请问,这个视频播放软件的名称,用过的朋友请给答案,上方..avi是啥意思?是看短剧还是播放本地视频?
  • ¥15 运筹优化,gurobi,python
  • ¥15 基于python的电影系统推荐
  • ¥20 springmvc重定向和返回json
  • ¥15 数学建模——参会安排怎么做
  • ¥15 电脑键盘实现触摸功能
  • ¥25 matlab无法将表达式转换为双数组怎么解决?
  • ¥15 单片机汇编语言相关程序
  • ¥20 家用射频美容仪技术规格