请教爬虫大虾,采用何种python爬虫架构? 200C

现在的项目需要一个爬虫,爬取论文内容,只有中文论文,基本都是文字内容。另外后期会增加多个网站。前期要一次性爬取现有几千万篇,同时每天更新几万篇左右。整个爬虫采用何种框架,以及为什么采用这种框架,有何优缺点?需不需要分布式?

1个回答

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问