就是如何快速比对出爬虫已经爬过的网站,从大量的url中,使爬虫爬的站是惟一的,不会出现重复爬一个站?
收起
当前问题酬金
¥ 0 (可追加 ¥500)
支付方式
扫码支付
支付金额 15 元
提供问题酬金的用户不参与问题酬金结算和分配
支付即为同意 《付费问题酬金结算规则》
用dict保存URL。然后用in来判断是否存在
报告相同问题?