默默倾听全世界 2023-07-17 14:37 采纳率: 0%
浏览 19

python+selenium实现所有网站爬取

公司有三百的不同的网站，前端代码的逻辑也不同。我需要写一个公共的python+selenium的脚本，可以对分别每个网站进行深度爬虫，获取所有的访问后端的request请求。请问这个问题可以实现吗？
我看网上的代码都是针对具体一个网站的爬虫，请问可以写一个通用的可以针对所有网站的爬虫吗？本人也是刚刚接触爬虫，谢谢大家了。

  • 写回答

3条回答 默认 最新

  • 二九筒 2023-07-17 15:05
    关注

    最多实现进入网站首页，其他的就不行了，因为每个网址都不同，页面元素也不同，所以做不到你说的通用

    评论

报告相同问题？

问题事件

  • 创建了问题 7月17日