小鬼web 2018-01-29 07:55 采纳率: 50%
浏览 3136
已采纳

flask+scrapy的爬虫问题

刚刚开始学习爬虫，现在已经可以通过scrapy crawl myscrapy的方式启动一个爬虫，

现在我想实现这样一个功能：用flask定义一个接口，别人调用这个接口的时候传递一个
url参数，拿到这个参数之后自动启动爬虫进行爬取数据，爬取到的数据以json数组的形式
返回给调用接口的人。想问下大家有什么实现思路吗？拜托了，感谢各位。

  • 写回答

3条回答 默认 最新

  • 虾米馅煎包 2018-01-29 15:51
    关注

    你拿到参数后先写一个bat批处理 scrapy crawl myspider -a category=electronics 再 os.system(r'xx.bat') 来调用
    https://doc.scrapy.org/en/latest/topics/spiders.html#spider-arguments ，只是大概记得有这么个用法 = =
    返回数据的话 提交一个表单试试？ 方法也是如上

    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论
查看更多回答(2条)

报告相同问题？

悬赏问题

  • ¥15 metadata提取的PDF元数据，如何转换为一个Excel
  • ¥15 关于arduino编程toCharArray()函数的使用
  • ¥100 vc++混合CEF采用CLR方式编译报错
  • ¥15 coze 的插件输入飞书多维表格 app_token 后一直显示错误，如何解决？
  • ¥15 vite+vue3+plyr播放本地public文件夹下视频无法加载
  • ¥15 c#逐行读取txt文本，但是每一行里面数据之间空格数量不同
  • ¥50 如何openEuler 22.03上安装配置drbd
  • ¥20 ING91680C BLE5.3 芯片怎么实现串口收发数据
  • ¥15 无线连接树莓派，无法执行update，如何解决？（相关搜索：软件下载）
  • ¥15 Windows11, backspace, enter, space键失灵