python2.7 read_csv&to_csv 如何忽略原文件中的乱码?

这个简单的case是:
import pandas as pd
TempData = pd.read_csv('test.csv', encoding='gb2312'))
TempData = pd.DataFrame(TempData)
TempData.to__csv(‘test.csv’, index=False, sep=',', encoding='gb2312')

由于我的test.csv中本身包含乱码,所以运行时一直报解码错误。需要特殊说明的是并不是文件里的中文表头导致的,而是数据部分本身存在乱码(应该是记录错误),将乱码数据删除之后运行就正确了。

乱码类似图片中所示。
图片说明

由于csv文件非常多,数量达到上万,因此手动删除是不现实的,还请指教。

1个回答

把gb2312修改成gb18030试试,
18030是目前最新的标准

weixin_43422262
weixin_43422262 试过啦,也是一样报错
12 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!

相似问题

1
不是输入 .csv文件,但是出现 File b'data/data.csv' does not exist错误
0
Mac OS X 10.14.3下如何给Python2.7.10安装MySQL-Python?
0
为什么pandas.read_csv读入一行却将其变成一列再输出?
0
求教!安装kaldi,make时错误提示没有安装libtool和python2.7,但是已经安装了。
1
求教:python paramiko库:paramiko.ssh_exception.SSHException: not a valid RSA private key file
1
yum报Error downloading packages 但是python2.7 -v可以正确进入
2
python3.7,django 2.21,for...in...Python int too large to convert to C long
0
python + selenium 获得  D. It is fascinating. 这  后面的值
1
python3.7安装email库出现报错
5
PYTHON EXCEL转换CSV并汇总成一个文件
0
sublime Text3 中使用pandas.read_excel() 列数多时会折行,如何解决
1
如何在django中使用mysql自带的MySQL Connector Python 8.0 for Python 3.7?
1
python2.7 如何获取下载文件的大小
3
pip升级怎么提示这个 怎么 解决 老版本也删除了 我的是python 3.7
1
tensorflow.python.framework.errors_impl.InvalidArgumentError
2
centos7.6 安装python3.执行/configure时,gcc异常
1
如何解决cannot import name 'dense_features' from 'tensorflow.python.feature_column'
3
Ubuntu18.04无法安装python2.7
1
训练了一段时间出现了Exception ignored in: <bound method _DataLoaderIter.__del__ of <torch.utils.data.dataloader._DataLoaderIter object at 0x7f3e6f2f14e0>>问题,请问如何解决?
1
$ python3 glmcc.py CC f_pre.txt f_post.txt T(s) 这种语句应该输入到哪执行啊