FlyingKoi 2023-03-06 15:41 采纳率: 0%
浏览 45
已结题

关于#爬虫#的问题,如何解决?

在进行水质数据的爬虫时总是提示错误,根据一些博主的帖子猜测为超时问题,已经加入不加载图片的语句chrome_options.add_argument('blink-settings=imagesEnabled=false'),也对wait = WebDriverWait(browser,60)和time.sleep(30)中的数值进行过改变无法解决问题,将谷歌浏览器换成火狐也无法解决问题,麻烦各位厉害的博主帮忙解答疑惑,谢谢
(有一次火狐跑到后面错误提示大概是输出格式错误,data_str = datetime.datetime.now().strftime('%Y_%m_%d'),water_df.to_csv("水质数据.csv" % (data_str),index=None, encoding="GB18030"),可惜当时忘记存个副本,改了之后就改不回去了,麻烦厉害的博主们帮我看看是输出格式也有错误吗,感谢感谢)

img

img

img

  • 写回答

1条回答 默认 最新

  • 阳光宅男xxb 2023-03-07 08:00
    关注

    两个可能原因:
    一个是网页打开后,页面无数据,可能被反爬或者页面本身有问题,你用程序打开浏览器后,你可以观察下打开的网页是否正常
    一个原因是打开的网页中没有叫MF的iframe,或者这个iframe包裹在另一个iframe中,这样你是定位不到的,所以超时报错,你可以不要wait.util 使用time.sleep等待几秒后直接去操作,望采纳!!!

    评论

报告相同问题?

问题事件

  • 已结题 (查看结题原因) 4月13日
  • 创建了问题 3月6日

悬赏问题

  • ¥30 为什么会失败呢,该如何调整
  • ¥50 如何在不能联网影子模式下的电脑解决usb锁
  • ¥20 服务器redhat5.8网络问题
  • ¥15 如何利用c++ MFC绘制复杂网络多层图
  • ¥20 要做柴油机燃烧室优化 需要保持压缩比不变 请问怎么用AVL fire ESE软件里面的 compensation volume 来使用补偿体积来保持压缩比不变
  • ¥15 python螺旋图像
  • ¥15 算能的sail库的运用
  • ¥15 'Content-Type': 'application/x-www-form-urlencoded' 请教 这种post请求参数,该如何填写??重点是下面那个冒号啊
  • ¥15 找代写python里的jango设计在线书店
  • ¥15 请教如何关于Msg文件解析