gjfvip123 2018-05-08 01:30 采纳率: 0%
浏览 1015
已采纳

selenium + phantomjs +python网络抓取问题

在自己做的案例中,我提供了200个网站链接,然后进行网络抓取,每抓取一个网站就保存一个值,但是最后总有一个网站没有存值,我的分析可能是因为这个网站一直处于链接状态,

有没有什么方法可以判断链接网站的时候,如果超过多少秒还处于链接状态则退出并记录?

  • 写回答

2条回答 默认 最新

  • oyljerry 2018-05-08 01:50
    关注
     from selenium import webdriver  
    d= webdriver.PhantomJS()  
    d.set_page_load_timeout(10)  
    d.set_script_timeout(10)
    
    try:  
        d.get(s)  
    except:  
        d.execute_script('window.stop()')  
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(1条)

报告相同问题?

悬赏问题

  • ¥15 matlab有限元法求解梁带有若干弹簧质量系统的固有频率
  • ¥15 找一个网络防御专家,外包的
  • ¥100 能不能让两张不同的图片md5值一样,(有尝)
  • ¥15 informer代码训练自己的数据集,改参数怎么改
  • ¥15 请看一下,学校实验要求,我需要具体代码
  • ¥50 pc微信3.6.0.18不能登陆 有偿解决问题
  • ¥20 MATLAB绘制两隐函数曲面的交线
  • ¥15 求TYPCE母转母转接头24PIN线路板图
  • ¥100 国外网络搭建,有偿交流
  • ¥15 高价求中通快递查询接口