怎么爬电影天堂，加了UA和cookie

Question

headers = {
"user-agent":"Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/127.0.0.0 Safari/537.36",
'cookie':"guardok=42Ag/4y1PXyzRtyXqLFTxw6x8wL7RVApbUKmkx1HCDEtgBtYYI7YEZ7db4aECWfv0J3x8o96pZ1EyXMS+qMbrg==; __51vcke__KSH97KiL32Rqbx0w=e8041c5a-cad0-5dd3-baf8-ba9e27e75244; __51vuft__KSH97KiL32Rqbx0w=1722282800975; __vtins__KSH97KiL32Rqbx0w=%7B%22sid%22%3A%20%228f9e3c6b-15e1-529e-ad5f-01cb3c068df6%22%2C%20%22vd%22%3A%201%2C%20%22stt%22%3A%200%2C%20%22dr%22%3A%200%2C%20%22expires%22%3A%201722287417273%2C%20%22ct%22%3A%201722285617273%7D; __51uvsct__KSH97KiL32Rqbx0w=3; __tins__21827803=%7B%22sid%22%3A%201722285617890%2C%20%22vd%22%3A%201%2C%20%22expires%22%3A%201722287417890%7D; 51cke=; 51laig=1; Hm_lvt_f7abbae08c28b34b707daf8674110ce5=1722282802,1722284639,1722285618; Hm_lpvt_f7abbae08c28b34b707daf8674110ce5=1722285618; HMACCOUNT=C3D10AC393E4C03E"
}
resp = requests.get(url=domain, headers=headers, verify=False)
print(resp)

输出的结果是空的

Answer 1

你的代码看起来是正确的，但是如果你得到的响应是空的，可能有以下几个原因：

1. 网站可能有反爬虫机制，例如动态加载内容、IP限制、验证码等。你可以尝试使用更复杂的爬虫工具，如Selenium或Scrapy。

2. 你的请求可能被网站的服务器拒绝了。你可以检查响应的状态码（使用resp.status_code）来确认这一点。如果状态码是200，那么请求应该是成功的。如果状态码是403，那么请求可能被拒绝了。

3. 你的cookie可能已经过期。你可以尝试更新你的cookie。

4. 你可能没有正确解析响应的内容。你可以使用resp.text或resp.content来获取响应的内容。

5. 确保你的请求URL是正确的。

请注意，爬虫应该遵守网站的robots.txt文件和相关法律法规。在进行爬虫操作时，应确保你的行为是合法和合规的。