使用scrapy+PhantomJS 编写爬虫的时候，运行一段时间之后会自动停止不继续往下跑了，也没有报错，很是纳闷，跪求大佬帮忙！！！！！！！！！！
感觉是哪里细节没处理好，求大佬帮助。。
1条回答 默认 最新
积跬步以至千里。 2019-09-20 16:16关注咦，你这个连个代码片段也没有，既然如此，我来给你瞎说一波，哈哈
A. 代码还没调试稳定，有未知的异常出现
建议先别用PhantomJS ，可以先用selenium+Google，观察页面的运行步骤，将各种错误调试清楚了在使用PhantomJSB. 观察下服务器内存占用情况，多次重复打开PhantomJS，会占用大量内存，记得用完及时关闭
解决 无用评论 打赏举报
分享
- 2018-04-20 13:09若纷飞的博客 智能接收一个 class 对应的一个值，不能传入多个 driver.find_element_by_id(“kw”).send_key(“python”) # 选中 input 框，输入内容“ python ” driver.find_element_by_id(“su”).click() # 选中 input ...
- 2020-07-09 17:48.树懒.的博客 - 编写爬虫 的一些小技巧 和 bug 最近在做毕业设计要求要一些数据，所以要爬取一些数据作为基底 因为现在的网页大部分都是动态网页，不是静态网页了，对于爬取动态的网页 有以下这几种做法我而我选择了scrapy+splash...
- 2021-08-31 23:01hwwaizs的博客 爬虫与反爬虫 使用爬虫程序会给服务器造成一定的压力，维护者会制定一系列的反爬机制，二者进行相互切磋。 爬虫建议 尽量减少请求次数，程序执行速度比较快，会对服务器产生压力，管理者会指定一系列的反爬机制...
- 2023-05-09 10:10代码之路无极限的博客 用urllib2(推荐requests库)模拟即可,也可能是修改dom之类,用lxml这类对应修改即可.说来就是js执行了什么,就用python代码对应模拟执行.除此之外框架的其他部分.都是异步的,简单说来就是,爬虫生成的请求交由调度器去...
- 2023-08-04 14:59kunwen123的博客 selenium 极客教程 使用python 调用scrapy的 爬虫Spider并且相互之间可以正常传参实现全局 常规情况创建，使用命令 scrapy genspider baidu "baidu.com" Python中Scrapy框架详解 浏览器调试模式下（F12 或 右键检查...
- 2019-04-09 18:39别相逢的博客 关于phantomjs，本人是小白在做scrapy爬虫时碰到了需要安装phantomjs的问题，但是按照很多博主方法尝试之后，出现了崩溃的情况，及时他们也给出了解决方案，缺一直迟迟解决不了问题，当你仔细看看/usr/bin/phantomjs...
- 2017-11-22 16:24weixin_33743661的博客 甚至有些网站在没有js的情况下根本不工作,取而代之返回你一条类似"请打开浏览器js"之类的内容. 对javascript的支持有四种解决方案: 1,写代码模拟相关js逻辑. 2,调用一个有界面的浏览器,类似各种广泛用于测试的,...
- 2022-11-17 11:54学习的程序人的博客 通用爬虫：就是将互联网的上页面整体的爬取下来之后，保存到本地。通用爬虫要想爬取网页，需要网站的url.但是搜索引擎是可以搜索所有网页的。
- 2015-11-05 15:45weixin_34258782的博客 该爬虫大概是用的webkit,scrapy,另外把scrapy的调度队列改为基于redis的,实现分布式. 如何实现: 回头谈点背景知识,scrapy使用了twisted.一个异步网络框架.因此要留意潜在的阻塞情况.但注意到settings中有个...
- 2022-10-11 18:32金乌爬虫的博客 Python爬虫面试题及答案
- 没有解决我的问题, 去提问
