2 qq 31146685 qq_31146685 于 2016.05.02 21:36 提问

webmagic如何批量爬取很多网站??(希望大神能够看问题详情在回答,谢谢各位大神了)

使用webmagic,怎么批量爬取一些网站(网站数量大概有100多个)??爬取的网站,爬出来的东西比较固定,大都是时间.内容,标题等等 ....难道要每个网站都手写一个类??有没有比较通用的方法,比如配置文件等方法解决???

3个回答

xlyytcywangfei
xlyytcywangfei   2016.06.02 17:13
已采纳

可以通过配置文件解决

qq_31146685
qq_31146685 回复qq_31146685: 有的爬取下一页什么的,还得自己拼凑参数等
一年多之前 回复
qq_31146685
qq_31146685 我一开始也是用配置文件等去解决的,但是通用型不强,不同的网站,爬取的方式不同.
一年多之前 回复
caozhy
caozhy   Ds   Rxr 2016.05.02 23:45
qq_31146685
qq_31146685 里面有文档,但是并没有批量爬取很多网站的例子
一年多之前 回复
qq_31146685
qq_31146685   2016.06.07 11:28

我一开始也是做成配置文件的,但是通用性不强.

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!