大多数都是当次执行里面的去重这个理解,如果关闭了程序,或者说再次执行爬虫,怎么确保数据去重呢?
新人,求大佬指点
收起
当前问题酬金
¥ 0 (可追加 ¥500)
支付方式
扫码支付
支付金额 15 元
提供问题酬金的用户不参与问题酬金结算和分配
支付即为同意 《付费问题酬金结算规则》
无解 我都是把要爬的网址存数据库,爬一个,修改一下这个网址的状态,随时中断,随时开启
报告相同问题?