扶荔 2019-07-22 16:08 采纳率: 0%
浏览 879

爬虫相关,有30多个网站需要爬取,怎么样能提高效率

目前初步的想法是用selenium 来爬取,但是规则不一样可能要写30多个规则,想到一个用数据库连接的方式来节省时间,但是我不会用qaq!

而且有些网站使用了iframe的嵌套反爬,是不是不能使用一个爬虫解决?

有大神出来答疑解惑吗 ,球球了呜呜。

  • 写回答

4条回答 默认 最新

  • dabocaiqq 2019-07-22 17:05
    关注

    可以购买30个计算机同时抓取

    评论

报告相同问题?

悬赏问题

  • ¥15 求差集那个函数有问题,有无佬可以解决
  • ¥15 【提问】基于Invest的水源涵养
  • ¥20 微信网友居然可以通过vx号找到我绑的手机号
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题