scrapy+PhantomJS 爬虫之BUG

使用scrapy+PhantomJS 编写爬虫的时候,运行一段时间之后会自动停止不继续往下跑了,也没有报错,很是纳闷,跪求大佬帮忙!!!!!!!!!!

感觉是哪里细节没处理好,求大佬帮助。。

1个回答

咦,你这个连个代码片段也没有,既然如此,我来给你瞎说一波,哈哈
A. 代码还没调试稳定,有未知的异常出现
建议先别用PhantomJS ,可以先用selenium+Google,观察页面的运行步骤,将各种错误调试清楚了在使用PhantomJS

B. 观察下服务器内存占用情况,多次重复打开PhantomJS,会占用大量内存,记得用完及时关闭

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问