怎么解决mysql将爬取的数据存入了两次

Question

这是运行pycharm几次后的mysql数据库

（好像运行一次pycharm 就会将数据重复一次存入mysql）

这是在mysql下用select * from mytqyb where tm is null;
得到的一列值为空的列表

怎么解决运行多次存入多次数据的情况，这种删掉null列表可以在pycharm里面改吗？

Answer 1

入库前做处理。
找到唯一标识，进行去重判断。
可以用原生mysql的查询结果做判断，也可以用redis做去重队列