Roinging 2019-03-22 13:14 采纳率: 0%
浏览 434
已结题

python scrapy爬虫框架数据库数据量无法增加

python 3.6 ，scrapy爬虫框架，mysql数据库，workbench界面。
第一次运行捕获2w条数据，第二次运行的时候，确定可以获取目标网页新的数据，数据库也显示了新的数据库更新时间，但是数据总量却一直不变，新数据无法写入
请问有朋友遇到过这样的问题吗？

  • 写回答

1条回答

  • gammey 2019-03-22 17:47
    关注

    你的SQL语句是怎么写的，然后表结构是什么样的？
    根据我估计可能是表的主键重复导致数据无法插入

    评论

报告相同问题？

悬赏问题

  • ¥15 c程序不知道为什么得不到结果
  • ¥40 复杂的限制性的商函数处理
  • ¥15 程序不包含适用于入口点的静态Main方法
  • ¥15 素材场景中光线烘焙后灯光失效
  • ¥15 请教一下各位，为什么我这个没有实现模拟点击
  • ¥15 执行 virtuoso 命令后，界面没有，cadence 启动不起来
  • ¥50 comfyui下连接animatediff节点生成视频质量非常差的原因
  • ¥20 有关区间dp的问题求解
  • ¥15 多电路系统共用电源的串扰问题
  • ¥15 slam rangenet++配置