新人求教。scrapy去重问题

大多数都是当次执行里面的去重这个理解,如果关闭了程序,或者说再次执行爬虫,怎么确保数据去重呢?

新人,求大佬指点

1个回答

无解
我都是把要爬的网址存数据库,爬一个,修改一下这个网址的状态,随时中断,随时开启

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
立即提问