m0_63501925 2021-10-27 14:26 采纳率: 33.3%
浏览 28
已结题

scrapy post请求遇到 Request Payload 报错问题

scrapy post请求遇到 Request Payload

import json
import scrapy

class JobSpider(scrapy.Spider):
    name = 'job'
    # 2.检查修改allowed_domains
    allowed_domains = ['163.com']
    # 1.修改起始url
    start_urls = ['https://hr.163.com/job-list.html']
   

  def parse(self, response):
       headers = {
            'user-agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/94.0.4606.81 Safari/537.36',
            'content-type': 'application/json;charset=UTF-8'
        }
        post_data = {
            'currentPage':'1',
            'pageSize':'10'
        }
         yield scrapy.Request(
            url='https://hr.163.com/api/hr163/position/queryPage',
            method="POST",
            body=json.dumps(post_data),
            headers=headers,
            callback=self.after_parse()

        )
    def after_parse(self,response):
        yield scrapy.Request(response.text)

img

请求的网址是:


在network XHR 中queryPage中发现是post请求 Request Payload 去网上寻找了解决方案 还是报以上的错误 因为是自学的 帮忙看一下是什么问题

  • 写回答

0条回答 默认 最新

    报告相同问题?

    问题事件

    • 系统已结题 11月4日
    • 创建了问题 10月27日

    悬赏问题

    • ¥23 (标签-bug|关键词-密码错误加密)
    • ¥66 比特币地址如何生成taproot地址
    • ¥20 数学建模数学建模需要
    • ¥15 关于#lua#的问题,请各位专家解答!
    • ¥15 什么设备可以研究OFDM的60GHz毫米波信道模型
    • ¥15 不知道是该怎么引用多个函数片段
    • ¥30 关于用python写支付宝扫码付异步通知收不到的问题
    • ¥15 隐藏系统界面pdf的打印、下载按钮
    • ¥15 基于pso参数优化的LightGBM分类模型
    • ¥15 安装Paddleocr时报错无法解决