爬虫时query string parameters的部分参数是动态怎么破？

Question

在爬取国产非特殊用途化妆品备案网，发现数据藏在json里面，不过post提交的query string parameters后面的参数是变化的，不知道怎么找到规律？

第一次进入：**http://ftba.nmpa.gov.cn:8181/ftban/itownet/fwAction.do?6SQk6G2z=**5Rc8f_SQxU_x.y23SHY7PGZqDUmIvpDVHglk8nmJjI8VMZgXT71tSNyyPSyDrm83VxDE7f_8GoSjWVIovov.rOsHRHqJWDE0BwfvAcgl2bQb.cCHxroFgOR0Si4LxYZ3IWdvyFp8vmJ4ZWhC8m9EkO4u8a77zwR9sTowLk9fftEvsCJ.Z6wFqarsed1MVxU38bwmbpbl9vHSWwbGdmC1xZqUaxPd.QbgjLzvKMXEGIdyGddlClk7VhU4T6rO.evdeCVoBkSLS7KVozp2T4r_fYY0tR2lkRDMD421xtwhuNl0&**c1SoYK0a=**4AtD8bGQWIfcSHYU7RD7eNtzRkllZ4kECt.48kW3ymIHYdfDzCXaFjArGaAkD38VrYU4y1kDgvfls2DiJwdJ.q6IvN0oyYnHQVEmk5LVUY.WMnu3hwIzOVAuhznVyP2ChbDw1m23RScwvSIQnOUz4CG
刷新一次后：**http://ftba.nmpa.gov.cn:8181/ftban/itownet/fwAction.do?6SQk6G2z=**5uIfkt6e50r07te0ewWvGs7hOpo9cmKbJxT08KEH1iuG4jAgHf97VF3GLh2r4eBX0.XcUyqF0uFbefFF_9gVVlPhfEBxFUPsdjtaOs5hNK._mrjYl2MJ0TyGOqx8cKssinpr0blc8Lasv_pSemmFBL8DQAvYSvjpzbFrHjuQ.BM5KU_PExEO5ac9hfWwnrBhLQXj4yANTZyxiACvPf3C271Oo1X.MZFoIaBXLQg0jlUBpoy.fhIWc4KqwL3n.Qiy4cU.8Lxl9.J7lBt.t2RxbYTx4IiyrR8iuS4oP1L9dv5l&**c1SoYK0a=**4Jqiy8F1u_nzKR9iJcr54eKj96lyMWn6myBaHBKhRVO6aRgB1Dp7909hAi5WenUYhtncBjBDiNLfCb..x1f2f.YB8SGl1r7TJsJghj.k8lWWhujZMgffeveO2B9pA3ptARBV4Hz.4BZwm6Z1ZZB9dya

直接爬取url：http://ftba.nmpa.gov.cn:8181/ftban/，结果是：一堆乱码。

最终想要爬取网页http://ftba.nmpa.gov.cn:8181/ftban/的内容。

望大神解答

Answer 1

获取网页文本后,用xpath提取a标签内的超链接
如

//*[@id="gzlist"]/li[1]/dl/a

匹配到后通过xpath匹配的内容获取信息
如果反扒机制太高了,可以试试 python selelnium 爬虫框架,一个个进行采集数据.
有帮助请采纳,谢谢