多线程爬虫加锁的问题

Question

多线程爬虫，判断url是否已经访问过，是否需要加锁？
比如将爬过的网址放入visited，判断未爬的url是否存在于visited，使用语句if url in visited: 访问visited需要加锁吗？

Answer 1

我觉得可以给这个visited 用原子数组包装下，但这只保证了原子性，还需要加个volatile 保证可见性。