使用scrapy+PhantomJS 编写爬虫的时候，运行一段时间之后会自动停止不继续往下跑了，也没有报错，很是纳闷，跪求大佬帮忙！！！！！！！！！！
感觉是哪里细节没处理好，求大佬帮助。。
1条回答 默认 最新
积跬步以至千里。 2019-09-20 16:16关注咦，你这个连个代码片段也没有，既然如此，我来给你瞎说一波，哈哈
A. 代码还没调试稳定，有未知的异常出现
建议先别用PhantomJS ，可以先用selenium+Google，观察页面的运行步骤，将各种错误调试清楚了在使用PhantomJSB. 观察下服务器内存占用情况，多次重复打开PhantomJS，会占用大量内存，记得用完及时关闭
解决 无用评论 打赏举报
分享
- 2018-01-29 07:55回答 3 已采纳 你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用 https://d
- 2021-05-10 09:54回答 1 已采纳 Ctrl+C 只是终止主线程,你的其他线程没有守护,所以 Ctrl+C 后它们继续运行。 另外scrapy中的 Ctrl+C 是暂停，并不是完全停止，Ctrl+C 是断点续爬的基础。
- 2022-12-27 23:14回答 1 已采纳 望采纳！点击该回答右侧的“采纳”按钮即可采纳！！！我猜测可能是因为没有在你的项目目录下创建这个模块，或者是你在项目的 settings.py 文件中没有指定正确的模块路径。你需要确保在你的项目目录下有
- 2018-04-20 13:09若纷飞的博客 智能接收一个 class 对应的一个值，不能传入多个 driver.find_element_by_id(“kw”).send_key(“python”) # 选中 input 框，输入内容“ python ” driver.find_element_by_id(“su”).click() # 选中 input ...
- 2023-04-19 23:01回答 1 已采纳 是这样的，没问题。scrapy认为加了/b/的不是一个正确的网站，因为一般的网站首页都是.com .cn这样结尾的。所以默认去掉了后面的。需要自己手动修改的。
- 2020-08-10 15:06回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2020-08-10 15:18回答 1 已采纳 https://blog.csdn.net/lovemenghaibin/article/details/83111374
- 2023-05-09 10:10代码之路无极限的博客 用urllib2(推荐requests库)模拟即可,也可能是修改dom之类,用lxml这类对应修改即可.说来就是js执行了什么,就用python代码对应模拟执行.除此之外框架的其他部分.都是异步的,简单说来就是,爬虫生成的请求交由调度器去...
- 2021-04-02 17:02回答 3 已采纳 # 导入所需库 import requests class Jdcomment_spider(object): # 请求头 headers = { 'User-A
- 2022-10-16 01:14回答 1 已采纳 检查一下parse item 函数的response是否是正常的
- 2022-02-07 19:41回答 1 已采纳 库安装失败了
- 2020-07-09 17:48.树懒.的博客 - 编写爬虫 的一些小技巧 和 bug 最近在做毕业设计要求要一些数据，所以要爬取一些数据作为基底 因为现在的网页大部分都是动态网页，不是静态网页了，对于爬取动态的网页 有以下这几种做法我而我选择了scrapy+splash...
- 2020-03-25 14:18回答 1 已采纳 def parse(self, response): result = eval(response.body.decode('utf-8')) 兄弟，你打印一下resu
- 2020-09-01 00:46擒贼先擒王的博客 其最初是为了页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取 API 所返回的数据 (例如 Amazon Associates Web Services ) 或者 通用的网络爬虫。 Scrapy 用途广泛，可以用于数据挖掘、监测和自动化测试...
- 2019-04-09 18:39别相逢的博客 关于phantomjs，本人是小白在做scrapy爬虫时碰到了需要安装phantomjs的问题，但是按照很多博主方法尝试之后，出现了崩溃的情况，及时他们也给出了解决方案，缺一直迟迟解决不了问题，当你仔细看看/usr/bin/phantomjs...
- 没有解决我的问题, 去提问
悬赏问题
- ¥50 易语言把MYSQL数据库中的数据添加至组合框
- ¥20 求数据集和代码#有偿答复
- ¥15 关于下拉菜单选项关联的问题
- ¥20 java-OJ-健康体检
- ¥15 rs485的上拉下拉，不会对a-b<-200mv有影响吗，就是接受时，对判断逻辑0有影响吗
- ¥15 使用phpstudy在云服务器上搭建个人网站
- ¥15 应该如何判断含间隙的曲柄摇杆机构，轴与轴承是否发生了碰撞？
- ¥15 vue3+express部署到nginx
- ¥20 搭建pt1000三线制高精度测温电路
- ¥15 使用Jdk8自带的算法，和Jdk11自带的加密结果会一样吗，不一样的话有什么解决方案，Jdk不能升级的情况