爬虫无法获取正确网页内容

Question

使用爬虫查看网页源代码时无法显示正确的源代码，在浏览器中却可以正常显示
正常使用的请求头
网站网址为
https://wallhaven.cc/toplist?page=2
获取正确网页源代码

Answer 1

分享下我的两个情况。第一个python是利用cookie的。
https://blog.csdn.net/qq_32117641/article/details/125407588

第二个是等它渲染完再获取内容，但是是Java的
https://blog.csdn.net/qq_32117641/article/details/125407588

希望对你有帮助。