2 mmmaxwell mmmaxwell 于 2016.04.28 14:34 提问

菜鸟求助,大神请进:python爬取某东评论数据遇到的问题

python爬取京东评论数据,爬10页的评论没问题,后面的评论就不断重复,到底是什么原因?图片说明

3个回答

oyljerry
oyljerry   Ds   Rxr 2016.04.28 22:04

先看是不是服务器返回的内容 然后就是你请求的参数有问题 所有重复请求

mmmaxwell
mmmaxwell 这是get哦,不是post也要请求参数?
大约 2 年之前 回复
NK_test
NK_test   Rxr 2016.04.29 22:49

应该是url没去重吧

mmmaxwell
mmmaxwell 不是的,url我是控制循环的。应该不是这个问题
大约 2 年之前 回复
qq_25970551
qq_25970551   2016.05.12 14:17

最近看到一个csdn的博客专门讲如何写电商爬虫的,地址是:http://blog.csdn.net/youmumzcs/article/details/51373830,楼主可以参考

qq_25970551
qq_25970551 回复mmmaxwell: http://blog.csdn.net/youmumzcs/article/details/51396283 刚写了篇文章就是写反爬虫的,这么巧~
大约 2 年之前 回复
mmmaxwell
mmmaxwell 首先非常感谢你的热心。但是我的问题是京东的反爬虫机制,而不是如何爬东西。
大约 2 年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
用Python爬取京东商品评论(2)
利用Python爬取京东评论 首先打开京东的页面,输入你想要查找的某项商品的名称,这里用贝因美的某一款奶粉举例 下拉点开商品评论,可以看到本商品的对应评论。现在我们的目的就是利用爬虫来获取这些评论。接下来详细讲一下爬取得过程。 1.首先我们右击选择查看网页源代码。 在(1)中我们讲利用BeautifulSoup在源代码中对标签进行层层的筛选来获取我们希望获得的信息。于是首先我们查看商品
(8)Python爬虫——爬取豆瓣影评数据
利用python爬取豆瓣最受欢迎的影评50条的相关信息,包括标题,作者,影片名,影片详情链接,推荐级,回应数,影评链接,影评,有用数这9项内容,然后将爬取的信息写入Excel表中。具体代码如下:#!/usr/bin/python #-*- coding: utf-8 -*- import sys reload(sys) sys.setdefaultencoding('utf8') from bs4
爬取京东商品评论的爬虫源码
爬取京东上的商品评论的爬虫源码。可以粘贴到神箭手云爬虫上直接跑。
使用python爬取京东评论(json)
任务:爬取京东某手机的评论这次爬取的内容是动态的所以不能直接爬源代码中的内容 打开网页按下F12在Network里找到productPageComments文件 打开这个文件 这个文件是由json保存的(这里面就是要爬取的内容) 先用读取网页 url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_
用python爬取天猫商品评论并分析(2)
用python爬取天猫商品评论并分析(2)    之前介绍过天猫数据的爬取和数据初步处理,今天介绍下 将采集的评论进行文本分析!下面是总流程:0. 主要流程0. 数据采集这一步参考网址:https://www.jianshu.com/p/2b015d289083或者http://blog.csdn.net/weixin_41716128/article/details/793069230. 目标网...
python爬虫(7)——获取京东商品评论信息
本文借鉴了之前爬取天猫商品评论的思想,先通过分析网页信息来定位京东加载商品评论信息JS页面,然后从中提取出想要的商品评论信息并存入MySQL数据库。1.分析网页信息本文在进行各项操作时同样以小米6为例,首先打开京东上小米6销量最高的某店铺,在火狐浏览器下按F12查看网页详细信息。在网络模式下定位加载商品评论信息的JS页面,找到文件名带ProductPageComment关键词,域名为club.jd.
python 一键抓取京东所有商品价格,商品名称以及评论个数
python 获取京东所有类别,并按照类别抓取该类别下所有商品的价格信息,商品名称以及评论个数,并将此信息按照类别存储到txt文档中。
(python)热门话题的某些微博评论和转发数的抓取
一:通过前一篇文章的方法提取热门话题,由于蛋疼的新浪wei~b~o~Api开发的太少,申请高级接口也很墨迹==,博主弄了好久没申请成功。自己只能通过热门话题搜索得到url, 然后爬数据,抓取发布微博的用户,以及对应微博的转发数和评论列表 二:例子:热门话题:“男生也来大姨妈” result = urllib2.urlopen('http://s.weibo.com/weibo/%E7%94%
scrapy爬取京东商城某一类商品的信息和评论(二)
2、任务二:爬取商品评论信息 如果不需要爬取用户的地域信息,那么用这个网址爬就好: http://club.jd.com/review/10321370917-1-1-0.html 其中10321370917是商品的ID,评论的第一页就是 -1-1-0.html, 第二页就是-1-2-0.html。 之前商品不是存了评论总数吗,一页30个评论,除一下就可以知道多少页了,
python学习,爬取淘宝评论数据
从网站访问地址,(学习地址:http://mp.weixin.qq.com/s/oO46GdmGeDdYGvW3B75qsg)找了一个评论地址: https://rate.tmall.com/list_detail_rate.htm?itemId=521136254098&spuId=345965243&sellerId=2106525799&order=1&currentPage=1从一个学习网