python爬虫遇到重定向，请问应该怎么解决？每次都要手动获取一个cookie的值，怎样可以自动获取？

Question

每次都要修改代码里的这个cookie才能继续执行程序，应该是登录这个网页是进行了重定向，然后有没有一个好的方法可以解决这个问题，或者是我怎么去获取网页登录之后GET包里面的cookie

Answer 1

参考:Python requests库获取重定向跨域url及url中的cookie

Python requests库获取重定向跨域url及url中的cookie_PaiDaMoster的博客-CSDN博客_python requests 获取重定向的url 最近公司要往一个网页上提交数据，所以直接用爬虫做接口了，当我登录完成后发现，网址不一样了而且用同样的session提交不了数据， 用抓包工具进行抓包发现是重定向了 而且不是一个，重定向了三个。3个公司的代码拼出了一套网页项目 ???? 。废话不多说，上代码：# 获取请求url域名def getHost(url): pattern = re.compile(r'(.*?)://(.*?)/', re.S) response = re.search(pattern, url) https://blog.csdn.net/PaiDaMoster/article/details/109175740