2 mmmaxwell mmmaxwell 于 2016.04.23 23:19 提问

求助大神,爬虫爬取京东评论数据爬一小部分(大概100条评论)就爬不到评论了,返回空值了

python 爬取评论数据,爬到一百多条评论,就返回空值了,无法继续爬下去了

2个回答

caozhy
caozhy   Ds   Rxr 2016.04.23 23:24

用fiddler调试下,看下是不是京东有限制。比如让你过多少时间再访问,或者要你输入验证码。

caozhy
caozhy 回复mmmaxwell: 我不卖这个
大约 2 年之前 回复
mmmaxwell
mmmaxwell 回复caozhy: 那大神介绍点便宜的ip呗
大约 2 年之前 回复
caozhy
caozhy 回复mmmaxwell: 谁都不能凭空生产ip。就像即便你是学生,你去学校食堂吃饭还是要花钱,因为学校食堂也变不出大米,大米还是农民种出来的,食堂进货也得花钱。
大约 2 年之前 回复
mmmaxwell
mmmaxwell 回复caozhy: 我是学生而已,可能无法花钱买ip了
大约 2 年之前 回复
caozhy
caozhy 回复mmmaxwell: 这个看你花钱多少了。
大约 2 年之前 回复
mmmaxwell
mmmaxwell 回复caozhy: 真心感谢!请问有没有什么好的ip推荐一下,本人菜鸟,找到的代理ip都是很慢很慢的。
大约 2 年之前 回复
caozhy
caozhy 回复mmmaxwell: 换ip,清空cookie,换用户等
大约 2 年之前 回复
mmmaxwell
mmmaxwell 多谢解答,我还发现一个问题,就是等一段时间,再爬即可以接着爬了。这是不是时间限制?应该不是输验证码吧。那该怎么破解它的时间限制?
大约 2 年之前 回复
qq_25970551
qq_25970551   2016.05.20 17:35

如果要爬京东评论,已经有大牛写出很成熟的代码了,推荐大家去看看,专门讲了怎么突破京东的限制:http://blog.csdn.net/youmumzcs/article/details/51396283

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!
其他相关推荐
使用java的爬虫策略获取京东评论
前言习惯了python的爬虫,当重新使用回Java来爬虫时,显得十分的陌生.当然这不是为了好玩,在需要快速爬取大量的评论的情况下,python的性能不及于java.我小规模的测试,大概python的平均爬取网页的时间为0.3秒,而java为0.1秒~0.2秒.因此,为了高效地我还是选回了java.爬虫演示代码感谢知乎网友的无私奉献,我得到了爬取评论的链接:http://club.jd.com/pro
scrapy框架爬取京东商城商品的评论
一、Scrapy介绍 Scrapy是一个为了爬取网站数据,提取结构性数据而编写的应用框架。 可以应用在包括数据挖掘,信息处理或存储历史数据等一系列的程序中。 所谓网络爬虫,就是一个在网上到处或定向抓取数据的程序,当然,这种说法不够专业,更专业的描述就是,抓取特定网站网页的HTML数据。抓取网页的一般方法是,定义一个入口页面,然后一般一个页面会有其他页面的URL,于是从当前页面获取到这些URL加
京东爬取评论简单分析
京东爬取评论简单分析1.定义一个获取所有评论的函数def get_comment(url): """ 获取评论函数 """ i = 0 # 获取所有的评论,直到正则匹配为空的时候停止 while True: url = "http://club.jd.com/comment/productPageComments.action?callback=fetchJSON_comment98vv6&
利用JSon在京东上实现随意商品评论的爬取
首先我们应该理解JSON是什么: JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。它基于JavaScript Programming Language, Standard ECMA-262 3rd Edition - December 1999的一个子集。json最大的优势就是独立于编程语言, 易于人阅读和编写,同时也易于机器解析和生成。所以
使用python爬取京东评论(json)
任务:爬取京东某手机的评论这次爬取的内容是动态的所以不能直接爬源代码中的内容 打开网页按下F12在Network里找到productPageComments文件 打开这个文件 这个文件是由json保存的(这里面就是要爬取的内容) 先用读取网页 url='https://club.jd.com/comment/productPageComments.action?callback=fetchJSON_
python爬虫(7)——获取京东商品评论信息
本文借鉴了之前爬取天猫商品评论的思想,先通过分析网页信息来定位京东加载商品评论信息JS页面,然后从中提取出想要的商品评论信息并存入MySQL数据库。1.分析网页信息本文在进行各项操作时同样以小米6为例,首先打开京东上小米6销量最高的某店铺,在火狐浏览器下按F12查看网页详细信息。在网络模式下定位加载商品评论信息的JS页面,找到文件名带ProductPageComment关键词,域名为club.jd.
Rcurl小应用,爬取京东评论
利用Rcurl包做的一个小爬虫,爬取了京东上电热水器的评论
手把手教你写电商爬虫-第五课 京东商品评论爬虫 一起来对付反爬虫
系列教程: 手把手教你写电商爬虫-第一课 找个软柿子捏捏 手把手教你写电商爬虫-第二课 实战尚妆网分页商品采集爬虫 手把手教你写电商爬虫-第三课 实战尚妆网AJAX请求处理和内容提取 手把手教你写电商爬虫-第四课 淘宝网商品爬虫自动JS渲染 四节课过去了,咱们在爬虫界也都算见过世面的人,现在再来一些什么ajax加载之类的小鱼小虾应该不在话下了,即使是淘宝这种大量的ajax,我
用Python爬取京东商品评论(1)
Python网络爬虫所需要的模块本次爬虫程序需要的模块有: requests、BeautifulSoup、chardet、re、json、csv 以下先来分别介绍这几个模块的用处1.request模块利用requests模块我们可以获取所要爬取网页的html内容。使用requests.get(url)可以返回对应网页的连接,在调用.text或者.content来获取对应的网页html内容。其中.
python 爬取网易新闻评论
前段时间在看处理数据相关的书籍,需要爬取一些网上评论的文本数据集,所以想到爬取网易新闻底下的评论。本来想着Python+beautifulsoup(解析)+requests(抓取),最后存储在txt文件中就OK,废话不多说,试试吧~以这条新闻为例,可以看到,网易的新闻页面和评论页面是分开的,我们点进评论页面我们看到一如既往的“支持加油”