weixin_45847334 2020-03-04 18:43 采纳率: 0%
浏览 183

python scrapy框架爬虫问题 求解答

我的代码如图,当phone_url重复,其他数据也会重复
图片说明
下面爬取的内容,求解当phone_url重复是,其他数据不重复

  • 写回答

1条回答 默认 最新

  • 放风喽 2020-03-05 10:41
    关注

    scrapy的调度有校验机制
    重复的url会过滤掉

    评论

报告相同问题?

悬赏问题

  • ¥15 spring后端vue前端
  • ¥15 寻一个支付宝扫码远程授权登录的软件助手app
  • ¥15 解riccati方程组
  • ¥15 display:none;样式在嵌套结构中的已设置了display样式的元素上不起作用?
  • ¥15 使用rabbitMQ 消息队列作为url源进行多线程爬取时,总有几个url没有处理的问题。
  • ¥15 Ubuntu在安装序列比对软件STAR时出现报错如何解决
  • ¥50 树莓派安卓APK系统签名
  • ¥65 汇编语言除法溢出问题
  • ¥15 Visual Studio问题
  • ¥20 求一个html代码,有偿