url='https://www1.rmfysszc.gov.cn/projects.shtml'
我在headers添加了cookie,User-Agent,referer
爬取法拍网数据,但是被拦截了,本人python爬虫技术不是很成熟,不知道如何解决
@

url='https://www1.rmfysszc.gov.cn/projects.shtml'
我在headers添加了cookie,User-Agent,referer
爬取法拍网数据,但是被拦截了,本人python爬虫技术不是很成熟,不知道如何解决
@

不是拦截了,是你没写合适
import requests
cookies = {
'__jsluid_s': 'a3d803fb1b529fcac2f718efdaa5ee3b',
'Cookies-01': '76891161',
'__jsl_clearance_s': '1702785820.44|0|72pwLHBc42uz23Xdwre0OFyTkGQ%3D',
'ASP.NET_SessionId': '3b1v3tmd1c20ixpnl5aj2lvg',
'Hm_lvt_5698cdfa8b95bb873f5ca4ecf94ac150': '1702785824',
'Hm_lpvt_5698cdfa8b95bb873f5ca4ecf94ac150': '1702786279',
}
headers = {
'Origin': 'https://www1.rmfysszc.gov.cn',
'Referer': "https://www1.rmfysszc.gov.cn/projects.shtml'",
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
}
data = {
'type': '0',
'name': '',
'area': '上海市',
'city': '上海市',
'city1': '==请选择==',
'city2': '==请选择==',
'xmxz': '0',
'state': '0',
'money': '',
'money1': '',
'number': '0',
'fid1': '',
'fid2': '',
'fid3': '',
'order': '0',
'page': '1',
'include': '0',
}
res = requests.post('https://www1.rmfysszc.gov.cn/ProjectHandle.shtml', cookies=cookies, headers=headers, data=data)
