小鬼web 2018-01-29 07:55 采纳率: 50%
浏览 3132
已采纳

flask+scrapy的爬虫问题

刚刚开始学习爬虫,现在已经可以通过scrapy crawl myscrapy的方式启动一个爬虫,

现在我想实现这样一个功能:用flask定义一个接口,别人调用这个接口的时候传递一个
url参数,拿到这个参数之后自动启动爬虫进行爬取数据,爬取到的数据以json数组的形式
返回给调用接口的人。想问下大家有什么实现思路吗?拜托了,感谢各位。

  • 写回答

3条回答 默认 最新

  • 虾米馅煎包 2018-01-29 15:51
    关注

    你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用
    https://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments ,只是大概记得有这么个用法 = =
    返回数据的话 提交一个表单试试? 方法也是如上

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题?

悬赏问题

  • ¥15 虚幻UE保存Actor位置失败
  • ¥15 多个.nii合并为.nii.gz格式
  • ¥50 现在需要统计2023年全年 “签收时间(qssj)” 到 “提交时间(tjsj)” 小于半小时的业务量,但是要排除掉周末的时间,同时还要排除中午休息的时间。
  • ¥50 opencv模板匹配为何图像差别大仍然匹配数值高?
  • ¥15 如何成功完成主菜单和分菜单的代码编程C++
  • ¥15 怎样采集或者其它途径拿到全国最新个体工商户数据
  • ¥20 我是一名大学生,想学习java是自学还是报培训班呢
  • ¥15 pycharm该如何爬取网易云歌曲下的评论?
  • ¥15 java调用sap webservice问题
  • ¥20 如何完全复现何恺明resnet论文里的结果,有代码吗,获得论文中的结果(如下图)