python scrapy爬虫框架数据库数据量无法增加 5C

python 3.6 ,scrapy爬虫框架,mysql数据库,workbench界面。
第一次运行捕获2w条数据,第二次运行的时候,确定可以获取目标网页新的数据,数据库也显示了新的数据库更新时间,但是数据总量却一直不变,新数据无法写入
请问有朋友遇到过这样的问题吗?

1个回答

你的SQL语句是怎么写的,然后表结构是什么样的?
根据我估计可能是表的主键重复导致数据无法插入

Roinging
Roinging 你好,我最开始是写的replace into,无任何报错,但是也无数据更新,后来改为insert into,有主键重复报错,但我复制重复的主键信息到mysql数据库检索,显示没有该主键数据,我刷新之后重试,还是提示主键重复
大约一年之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问
相关内容推荐