gjfvip123 2018-05-08 01:30 采纳率: 0%
浏览 1015
已采纳

selenium + phantomjs +python网络抓取问题

在自己做的案例中,我提供了200个网站链接,然后进行网络抓取,每抓取一个网站就保存一个值,但是最后总有一个网站没有存值,我的分析可能是因为这个网站一直处于链接状态,

有没有什么方法可以判断链接网站的时候,如果超过多少秒还处于链接状态则退出并记录?

  • 写回答

2条回答 默认 最新

  • oyljerry 2018-05-08 01:50
    关注
     from selenium import webdriver  
    d= webdriver.PhantomJS()  
    d.set_page_load_timeout(10)  
    d.set_script_timeout(10)
    
    try:  
        d.get(s)  
    except:  
        d.execute_script('window.stop()')  
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥20 iqoo11 如何下载安装工程模式
  • ¥15 本题的答案是不是有问题
  • ¥15 关于#r语言#的问题:(svydesign)为什么在一个大的数据集中抽取了一个小数据集
  • ¥15 C++使用Gunplot
  • ¥15 这个电路是如何实现路灯控制器的,原理是什么,怎么求解灯亮起后熄灭的时间如图?
  • ¥15 matlab数字图像处理频率域滤波
  • ¥15 在abaqus做了二维正交切削模型,给刀具添加了超声振动条件后输出切削力为什么比普通切削增大这么多
  • ¥15 ELGamal和paillier计算效率谁快?
  • ¥15 蓝桥杯单片机第十三届第一场,整点继电器吸合,5s后断开出现了问题
  • ¥15 file converter 转换格式失败 报错 Error marking filters as finished,如何解决?