使用scrapy+PhantomJS 编写爬虫的时候,运行一段时间之后会自动停止不继续往下跑了,也没有报错,很是纳闷,跪求大佬帮忙!!!!!!!!!!
感觉是哪里细节没处理好,求大佬帮助。。
感觉是哪里细节没处理好,求大佬帮助。。
咦,你这个连个代码片段也没有,既然如此,我来给你瞎说一波,哈哈
A. 代码还没调试稳定,有未知的异常出现
建议先别用PhantomJS ,可以先用selenium+Google,观察页面的运行步骤,将各种错误调试清楚了在使用PhantomJS
B. 观察下服务器内存占用情况,多次重复打开PhantomJS,会占用大量内存,记得用完及时关闭