qq_31146685 2016-05-02 13:36 采纳率: 66.7%
浏览 3605
已采纳

webmagic如何批量爬取很多网站??(希望大神能够看问题详情在回答,谢谢各位大神了)

使用webmagic,怎么批量爬取一些网站(网站数量大概有100多个)??爬取的网站,爬出来的东西比较固定,大都是时间.内容,标题等等 ....难道要每个网站都手写一个类??有没有比较通用的方法,比如配置文件等方法解决???

  • 写回答

3条回答 默认 最新

  • 让我摆渡吧 2016-06-02 09:13
    关注

    可以通过配置文件解决

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

悬赏问题

  • ¥30 这是哪个作者做的宝宝起名网站
  • ¥60 版本过低apk如何修改可以兼容新的安卓系统
  • ¥25 由IPR导致的DRIVER_POWER_STATE_FAILURE蓝屏
  • ¥50 有数据，怎么建立模型求影响全要素生产率的因素
  • ¥50 有数据，怎么用matlab求全要素生产率
  • ¥15 TI的insta-spin例程
  • ¥15 完成下列问题完成下列问题
  • ¥15 C#算法问题, 不知道怎么处理这个数据的转换
  • ¥15 YoloV5 第三方库的版本对照问题
  • ¥15 请完成下列相关问题！