python3中async/await 爬虫与scrapy爬虫的疑惑

scrapy是python的异步爬虫框架,而async / await也是异步爬虫,这两者的效率上有什么区别吗?

2个回答

scrapy 是基于 twisted 这个python 异步三方库写的
async及await是基于python3.x之后自带的asyncio这个库来实现的

这两块没有做过深入研究,所以效率上可以自己去测试。

只是针对爬虫这部分,scrapy框架更成熟一些,asyncio在配套使用上还不够完善。

async / await不是爬虫,而是异步io调用的基础功能,一个是面包一个是面粉的关系。
效率主要取决于网络传输和html解析,用什么框架区别不大。但是考虑到python本身效率很差,是解释语言,所以尽量调用已经写好的库(它们底层通常用c++实现)。
而全部用python自己写效率肯定差

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐