2 mmmaxwell mmmaxwell 于 2016.04.28 14:34 提问

菜鸟求助,大神请进:python爬取某东评论数据遇到的问题

python爬取京东评论数据,爬10页的评论没问题,后面的评论就不断重复,到底是什么原因?图片说明

3个回答

oyljerry
oyljerry   Ds   Rxr 2016.04.28 22:04

先看是不是服务器返回的内容 然后就是你请求的参数有问题 所有重复请求

mmmaxwell
mmmaxwell 这是get哦,不是post也要请求参数?
一年多之前 回复
NK_test
NK_test   Rxr 2016.04.29 22:49

应该是url没去重吧

mmmaxwell
mmmaxwell 不是的,url我是控制循环的。应该不是这个问题
一年多之前 回复
qq_25970551
qq_25970551   2016.05.12 14:17

最近看到一个csdn的博客专门讲如何写电商爬虫的,地址是:http://blog.csdn.net/youmumzcs/article/details/51373830,楼主可以参考

qq_25970551
qq_25970551 回复mmmaxwell: http://blog.csdn.net/youmumzcs/article/details/51396283 刚写了篇文章就是写反爬虫的,这么巧~
一年多之前 回复
mmmaxwell
mmmaxwell 首先非常感谢你的热心。但是我的问题是京东的反爬虫机制,而不是如何爬东西。
一年多之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!