菜鸟求助,大神请进:python爬取某东评论数据遇到的问题

python爬取京东评论数据,爬10页的评论没问题,后面的评论就不断重复,到底是什么原因?图片说明

3个回答

最近看到一个csdn的博客专门讲如何写电商爬虫的,地址是:http://blog.csdn.net/youmumzcs/article/details/51373830,楼主可以参考

qq_25970551
数据工厂 回复mmmaxwell: http://blog.csdn.net/youmumzcs/article/details/51396283 刚写了篇文章就是写反爬虫的,这么巧~
3 年多之前 回复
mmmaxwell
mmmaxwell 首先非常感谢你的热心。但是我的问题是京东的反爬虫机制,而不是如何爬东西。
3 年多之前 回复

先看是不是服务器返回的内容 然后就是你请求的参数有问题 所有重复请求

mmmaxwell
mmmaxwell 这是get哦,不是post也要请求参数?
3 年多之前 回复

应该是url没去重吧

mmmaxwell
mmmaxwell 不是的,url我是控制循环的。应该不是这个问题
3 年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!