gjfvip123 2018-06-15 09:27 采纳率: 0%
浏览 1432
已采纳

请python 爬虫高手(selenium技术)帮忙解决几个问题,谢谢。

环境:python36,selenium 3.3.1,phantomjs2.1.1
描述:我利用python中selenium模块的phantomjs对网页进行拍照,其中有几个小bug,请高手支支招,如下问题:
1.某些网站会有反爬机智,导致拍照失败:如图图片说明
导致的原因我认为是标红框的地方,是否可以更改,把这个删掉?或者其他办法。

2.在截图中,有些浮动的广告,需要点击关闭,selenium虽然有点击的功能,但是如何判断它是广告呢?

3.在连接网站时,有时会报错,报错内容是timeout,但是我手动打开连接却很快就能打开,应该如何解决呢?

以上3个问题困扰小弟好长时间,请高手支招,谢谢~~~

  • 写回答

1条回答

  • threenewbee 2018-06-15 09:29
    关注

    可以,这个是user-agent,可以修改
    https://blog.csdn.net/zaixiahanli/article/details/64479463

    第二个问题,结合一些特征判断,比如说多数的广告为了保持在最上面,z-index都设置成99999

    最后一个问题,加上一点延迟,或者死循环判断是否加载,直到加载了再退出循环,继续执行。

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

悬赏问题

  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 CSAPPattacklab
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图
  • ¥15 stm32开发clion时遇到的编译问题
  • ¥15 lna设计 源简并电感型共源放大器
  • ¥15 如何用Labview在myRIO上做LCD显示?(语言-开发语言)