晟骅 2021-06-17 09:18 采纳率: 0%
浏览 27

爬虫运行过程中,界面无法操作(卡住)

我利用scrapy+pyqt5 写了一个爬取新闻网站新闻的程序,我是利用scrapy爬取多个新闻网站的数据,爬虫是由界面实现启动

例如,点击开始,则开始爬虫

爬虫的启动,使用的是命令行启动方式

def run(spider_list):

    for spider in spider_list:
        os.system('scrapy crawl {}'.format(spider))
        time.sleep(3)



按钮链接这函数,实现启动,

但是有一个问题,就是正在爬取的过程当中,我是对界面无法进行操作的

比如我想点击一下界面的其他按钮,是不行的

我因为基础比较薄弱,我也搞不明白,到时是什么原因

是因为进程被占用了吗

这样应该如何改进呢  

知道的大神麻烦帮忙解答下 

小弟在此谢过了!

  • 写回答

1条回答 默认 最新

  • L_735384673 2023-01-05 09:06
    关注

    开一个线程,把开始爬虫的函数放子线程里面执行

    评论

报告相同问题?

悬赏问题

  • ¥15 用visual studi code完成html页面
  • ¥15 聚类分析或者python进行数据分析
  • ¥15 逻辑谓词和消解原理的运用
  • ¥15 三菱伺服电机按启动按钮有使能但不动作
  • ¥15 js,页面2返回页面1时定位进入的设备
  • ¥50 导入文件到网吧的电脑并且在重启之后不会被恢复
  • ¥15 (希望可以解决问题)ma和mb文件无法正常打开,打开后是空白,但是有正常内存占用,但可以在打开Maya应用程序后打开场景ma和mb格式。
  • ¥20 ML307A在使用AT命令连接EMQX平台的MQTT时被拒绝
  • ¥20 腾讯企业邮箱邮件可以恢复么
  • ¥15 有人知道怎么将自己的迁移策略布到edgecloudsim上使用吗?