fenghui187
小鬼web
2018-01-29 07:55
采纳率: 60%
浏览 3.0k

flask+scrapy的爬虫问题

刚刚开始学习爬虫,现在已经可以通过scrapy crawl myscrapy的方式启动一个爬虫,

现在我想实现这样一个功能:用flask定义一个接口,别人调用这个接口的时候传递一个
url参数,拿到这个参数之后自动启动爬虫进行爬取数据,爬取到的数据以json数组的形式
返回给调用接口的人。想问下大家有什么实现思路吗?拜托了,感谢各位。

  • 点赞
  • 写回答
  • 关注问题
  • 收藏
  • 邀请回答

3条回答 默认 最新

  • BFInWR
    虾米馅煎包 2018-01-29 15:51
    已采纳

    你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用
    https://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments ,只是大概记得有这么个用法 = =
    返回数据的话 提交一个表单试试? 方法也是如上

    点赞 评论
  • luopotaotao
    落魄陶陶 2018-01-29 08:49

    1.调用者也作为web服务开放callback-url
    2.爬虫web服务crawl-url接收两个参数 target-url,callback-url
    3.调用者调用爬虫的服务接口crawl-url?target= target-url&callback=callback-url
    4.爬虫服务在crawl-url对应的处理器中爬取并解析所需数据,完事之后通过httpclient调用callback-url,将解析的数据传送

    点赞 评论
  • oyljerry
    oyljerry 2018-01-29 09:19

    flask实现web API,拿到传入的url,传递给scrapy,得到爬虫的结果后,用json方式返回数据。

    点赞 评论

相关推荐