慕飒潇湘 2022-08-26 12:09 采纳率: 72.7%
浏览 28

selenium无法退出进程

问题遇到的现象和发生背景

使用python的selenium抓取大量数据的时候总是遇到内存泄漏的问题,排查优化了很久得不到解决,使用kill和kill -9的方式也没办法杀掉,

问题相关代码,请勿粘贴截图

for p_pid in ps -ef | grep chromedriver | grep -v grep | awk '{print $2}'
do
/usr/bin/kill -9 $p_pid
echo "kill driver ==> $p_pid"
done
脚本1

for p_pid in ps -ef | grep chrome | grep -v grep | awk '{print $2}'
do
/usr/bin/kill -9 $p_pid
echo "kill ==> $p_pid"
脚本2

运行结果及报错内容

单独运行1完全杀不掉,运行2能杀掉一部分,但还是存在,内存能得到一小部分的释放

img

我的解答思路和尝试过的方法

自己写了一个脚本,先杀chromedriver,再清理chrome的,没有效果

我想要达到的结果

目前使用selenium截图网页快照,12个爬虫并行运行,希望能解决这个顽固问题

  • 写回答

1条回答 默认 最新

  • honestman_ 2022-08-26 13:08
    关注

    使用这条命令试试:

    ps aux | grep Chromi | awk '{print $2}' | xargs kill -9
    
    评论

报告相同问题?

问题事件

  • 创建了问题 8月26日