关于python中处理带逗号的CSV文件

现在要处理大量的TXT文件数据,txt文件中数据是用逗号分隔的,但有部分数据是本身已经含有逗号。这样就导致了我用spilt()函数分隔时造成分隔出错。请问下有python经验或者用python处理大量CSV TXT 或者excel经验的老大怎么解决这个问题。

我自己的想法是:
1,可不可在处理文件前直接把txt文件全部重命名成为CSV,然后用CSV模块出处理,这样行不行。

除了这个还有没有更加可行的方法。

另外再请问一个问题 用py来处理这种数据量大的表格 怎么实现类始于Vlookup这种功能来筛选需要的数据的方法。简单说明下就好

谢谢,小白一个 现在自学py 多谢各位老大了

2个回答

一个可行的办法是,在本身含有逗号的数据段两端加上引号后写入文件名结尾是.csv的文件,再用CSV模块读入这个文件导入到python自己的数据结构比如list或dictionary。
但这个方法的前提是能够找出本身含有逗号的数据段与其他数据段所不同的特征,这样才可以利用数据段的特征在数据段两端加上引号,比如可以用python string的index,find方法或结合regular expression 模块来处理字符串。所以你最好能贴出一个txt文件的前几行,来看一下本身含有逗号的数据段有什么特点区别于其他数据段。

另外你提到的将txt重命名为csv文件,CSV模块仍然会把本身含有逗号的一个数据段当成多个以逗号分隔的数据段,你可以用Excel打开改名后的csv件检验一下,会发现本身含有逗号的一个数据段被分成了若干列。
你提到第二个问题可以用pandas模块来处理表格,用pandas.read_csv方法将csv文件转换成dataframe以后,可以用dataframe的join或pandas 的merge方法配合dataframe 的行索引,列索引来实现类似excel的vlookup功能来筛选数据。

huanyeliu
huanyeliu 回复Tyche_BO: Cheers!
5 个月之前 回复
weixin_42653818
Tyche_BO 多谢回答,至于你说的pandas我会研究下,因为一直都是用openpyxl来处理excel
5 个月之前 回复

如果你的文件本身没问题,也就是有引号包括,比如
a,"b,c",d,这种中间有逗号但是前后有引号的规范的csv,那么可以直接用pandas加载,不要spilit

安装
pip install pandas

使用
https://www.cnblogs.com/datablog/p/6127000.html

weixin_42653818
Tyche_BO 多谢回答
5 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!