python爬虫时发现f12和网页显示不太一样

Question

是这样的，刚开始学爬虫很多地方不明白，先谢谢你…

爬取下方有页码的网页时，到第七页发现保存的数据和第一页完全一样
虽然网页显示的数据不同，但源码和第一页的源码完全相同，不知道该怎么办了

    if (page == 0) :
        url = "http://szecp.crc.com.cn/zbxx/006002/secondpagejy.html"
    if (page < 6):
        url =f"http://szecp.crc.com.cn/zbxx/006002/{page+1}.html"
    else:
        url=f"http://szecp.crc.com.cn/zbxx/006002/secondpagejy.html?categoryNum=006002&pageIndex={page+1}"
    response = httpx.get(url , headers = headers)
    soup = BeautifulSoup(response.text , 'html.parser')

查了很久看大家都是如何找数据的url，我找到了但是爬到的第七页还是第一页的数据
用的是f12查看源码，也用了xhr看到的url（这个网址其实和网页上方显示的网址完全相同）
但是代码应该没问题的！因为前六页的内容都完全正确
-
谢谢你谢谢你我真的很困扰谢谢你救我！

Answer 1

第七页之后请求方式是post而不是get请求，示例代码如下

import httpx

headers = {
    "Accept": "application/json, text/javascript, */*; q=0.01",
    "Accept-Language": "zh-CN,zh;q=0.9",
    "Content-Type": "application/x-www-form-urlencoded; charset=UTF-8",
    "Origin": "http://szecp.crc.com.cn",
    "Referer": "http://szecp.crc.com.cn/zbxx/006002/secondpagejy.html?categoryNum=006002&pageIndex=9",
    "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/126.0.0.0 Safari/537.36 Unique/96.7.5796.97",
    "X-Requested-With": "XMLHttpRequest",

}

url = "http://szecp.crc.com.cn/EpointWebBuilder/rest/datalist/get"
data = {
    "categorynum": "006002",
    "pageIndex": "9",
    "pageSize": "15"
}
response = httpx.post(url, headers=headers, data=data)
print(response.text)