如何应对cookies加密反爬(使用Requests编写爬虫,不用selenium)
今天爬取公开执行网(http://zxgk.court.gov.cn/shixin/ )的失信数据时,所有的请求返回都是412,分析多次请求之后只有cookie中的一个值(lqWVdQzgOVyaT)在变动,怀疑是加密了什么参数,但始终找不到这个值如何来的。
该网站仅使用requests库,返回HTTP 412错误;加上headers的所有信息,仍返回412错误。
尝试多次后,通过浏览器获取cookies信息(猜测cookies中的lqWVdQzgOVyaT为加密数据),仍返回412错误,怀疑cookie只能使用一次。使用后不知如何自动生成新的cookies,(无法从旧cookies、response中看出与新cookies的关系)。可私信