selenium scarpy js逆向都适合在什么情况下呢使用或组合使用

Question

selenium scarpy js逆向都适合在什么情况下使用或组合使用呢？

Answer 1

selenium最开始并不是作为爬虫的一种工具而是作为网页自动测试的一个工具，但是selenium可以得到网页真实源码这点很方便爬虫工程师，所以才被爬虫工程师采用，selenium可以结合xpath提高爬取效率，因为单纯使用selenium不是很明智，它很慢，效率低，但是它可以作为辅助手段，比如滑块验证，图片文字验证登录都可以用它来办，scrapy是爬虫者必学的爬虫框架，其中采用一些中间件来提高爬虫效率，当然selenium也可以与其结合，如果对于大量数据爬取，那么存储可以选择Redis数据库，js逆向算是逆向阶段必学，对于一些难爬到真实数据，需要调用js来对网页进行js请求返回数据接口得到数据，其实爬虫中学到的很多技术都可以拼凑组合使用，不过最好都了解之后再自己进行组合提升你的爬虫水平