python2.7 read_csv&to_csv 如何忽略原文件中的乱码？

Question

这个简单的case是:
import pandas as pd
TempData = pd.read_csv('test.csv'， encoding='gb2312'))
TempData = pd.DataFrame(TempData)
TempData.to__csv(‘test.csv’, index=False, sep=',', encoding='gb2312')

由于我的test.csv中本身包含乱码，所以运行时一直报解码错误。需要特殊说明的是并不是文件里的中文表头导致的，而是数据部分本身存在乱码（应该是记录错误），将乱码数据删除之后运行就正确了。

乱码类似图片中所示。

由于csv文件非常多，数量达到上万，因此手动删除是不现实的，还请指教。

Answer 1

把gb2312修改成gb18030试试，
18030是目前最新的标准