扶荔 2019-07-22 16:08 采纳率: 0%
浏览 879

爬虫相关,有30多个网站需要爬取,怎么样能提高效率

目前初步的想法是用selenium 来爬取,但是规则不一样可能要写30多个规则,想到一个用数据库连接的方式来节省时间,但是我不会用qaq!

而且有些网站使用了iframe的嵌套反爬,是不是不能使用一个爬虫解决?

有大神出来答疑解惑吗 ,球球了呜呜。

  • 写回答

4条回答 默认 最新

  • dabocaiqq 2019-07-22 17:05
    关注

    可以购买30个计算机同时抓取

    评论

报告相同问题?

悬赏问题

  • ¥15 关于#stm32#的问题:CANOpen的PDO同步传输问题
  • ¥20 yolov5自定义Prune报错,如何解决?
  • ¥15 电磁场的matlab仿真
  • ¥15 mars2d在vue3中的引入问题
  • ¥50 h5唤醒支付宝并跳转至向小荷包转账界面
  • ¥15 算法题:数的划分,用记忆化DFS做WA求调
  • ¥15 chatglm-6b应用到django项目中,模型加载失败
  • ¥15 CreateBitmapFromWicBitmap内存释放问题。
  • ¥30 win c++ socket
  • ¥15 C# datagridview 栏位进度