python 做CSV 批量数据分析处理

Question

Python 0基础，工作原因需要进行大量数据处理，问题如下：

有以下路径：desktop/CM_report_C00/ 下多个sub folders, 每个sub- folder 有若干csv 文件，每个csv 文件内容如下图所示：

需要实现3个目标：

1. 遍历所有子文件夹，统计csv 文件名中前14位出现的频次，例如 LE2B029-080104 出现1次，生成report.csv文件记录，此处并非遍历csv 内部内容的serial Number 出现的次数，只是看csv 文件名的前14位，确认是否有的产品测试了两次。
2. 遍历所有csv 文件，将每个csv 的第三行前两列写入第二行前两列，无需生成新文件，在原文件做覆盖修改即可。
3. 将第二步修改后的所有子文件夹的csv 文件merge 成一个allinone.csv，因原文件headname 最后一列缺失，增加最后一列的headname 为“path”

略附悬赏，望帮助

需注意的是，原文件的所有csv 文件，均如下图所示，最后一列没有head name，我之前尝试使用pandas 的时候会报错

引用ShowmeAI 的答案，报错如下：

Answer 1

##路径改成你的应该可以直接跑 ，试一下

import pandas as pd
import os

path='desktop/CM_report_C00/'

dirs=os.listdir(path) ##子文件夹

fct={}
allinone=pd.DataFrame()
for dir1 in dirs:
    path1=path+dir1+'/'
    fs=os.listdir(path1)
    for f in fs:
        fct[f[0:14]]=fct.get(f[0:14],0)+1  ##前14位的次数
        df1=pd.read_csv(path1+f)
        df1.iloc[0,0:2]=df1.iloc[1,0:2] ##第二行1,2列替换成第三行1,2列的值
        df1.to_csv(path1+f,index=0) ##修改原始文件
        allinone=pd.concat([allinone,df1]) ##合并修改后的结果

report=pd.DataFrame({'nm':fct.keys(),'ct':fct.values()})
report.to_csv('desktop/report.csv',index=0)
cols=list(df1.columns)
cols[-1]='path'  ##最后一个head 
allinone.columns=cols
allinone.to_csv('desktop/allinone.csv',index=0)