scrapy爬取中华英才网职位发现职位数量不一致,代码逻辑应该没问题,是什么原因?用scrapy-redis能解决吗?

用scrapy爬取中华英才网,抓取完毕发现职位数量和实际职位数量不一致,检查了代码逻辑应该不会出错,不知道是什么原因,能够证明解决吗?或者用scrapy-redis能够解决数据缺失的问题吗?求大神解答,拜托了!!

0
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!

相似问题

0
scrapy爬取中华英才网职位发现职位数量不一致,代码逻辑应该没问题,是什么原因?用scrapy-redis能解决吗?
3
python的列表推导式如何进行累加计算,需要额外去定义个函数吗
0
请问怎么把控制台的爬取得到的数据放到pyqt图形界面中,然后进行分析
1
请教这些32位代码是utf-8代码吗?用正则如何抓取?
0
请问怎么调取控制台的数据到图形界面上,然后分析这一期的数据,用gui分析,gui用哪种好
0
求助:用r语言做BP神经网络,之后请问怎样做sensitivity analysis(灵敏度分析),算相对重要性?
2
Python 3.7 AttributeError: 'str' object has no attribute 'items' 报错怎么解决
1
如何爬取这个音乐网站上的下载链接?网址:http://www.dj024.com
0
spark的dataframe究竟知不知道每列的名称和类型各是什么?
3
爬取内容中文乱码(这种“ú̿£ºËļ¾¶È¡°Ãº¡±·êÈý¡°½Ù¡±”)是怎么回事??
2
如何解决ImportError: DLL load failed: The specified procedure could not be found
2
爬虫之scrapy报错spider 农田
0
python怎么计算殴氏距离(经纬坐标),元数据有59W行,数据为CSV格式(见图),求代码,感谢!
2
pycharm使用时,出现模块调用失败,怎么解决?
3
爬取网站上数据,爬下内容不全
2
用python在微博的API爬数据时编译错误提示cannot import name APIClient
1
scrapy怎么让队列中多个请求共用一个代理ip?
0
时间序列预测 这种数据应该怎么处理
1
ID3算法在搜索过程中不进行回溯是什么意思,麻烦详细讲解一下搜索过程