Sanmu_mumu 2021-11-24 17:40 采纳率: 83.3%
浏览 28
已结题

python批量读取文件时,UnicodeError处理到文件解码问题的异常时中断文件读取

我在尝试读取文件夹中的csv文件,使用异常处理避免中断读取,可是却终止了文件读取,终止位置如下
with open(savefile, 'w') as w:
        for line in linelist:
            w.write(line)
# linelist是列表
错误提示:

w.write(line)
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 32: illegal multibyte sequence

写入的这段代码是在一个方法名为remove_noise_return_two()的方法体内,异常捕获在主方法中
  try:
        
        lisdir = os.listdir()
        count = 0
        for filename in lisdir:
            count = count+1
            # 0.读取csv原始文件
            df = pd.read_csv(filename, encoding='utf-8', error_bad_lines=False)

            # 1.每读取一个csv文件都将csv文件保存在过渡文件topsave.txt中
            savetxtname = 'topsave.txt'
            df.to_csv(savetxtname, na_rep='NA')

            # 2.调用remove_noise_return_two函数,对txt文件进行清洗,去掉第一行噪音
            pack_class, linelist = remove_noise_return_two(savetxtname)

            time.sleep(0.1)
    except FileNotFoundError as e:
        print(f'{count}:{filename},文件没有找到',e)
    except KeyError as k:
        print(f'{count}:{filename},关键词Key错误',k)
    except UnicodeError as u:
        print(f'{count}:{filename},编码存在问题',u)
假设我有十个文件,我想全部读取,其中按照顺序读取的话第一个文件正常,第二个文件关键词错误异常,第三个文件解码异常,第四个到最后都正常。现在情况是第一个正常读取,第二个正常报错,读取到第三个发现encode异常,报错后不再继续读取第四个文件,很烦┭┮﹏┭┮

停止不读取

img

原文件数量

img

  • 写回答

1条回答 默认 最新

  • llc的足迹 2021-11-24 17:46
    关注

    写入和读取的编码要保持一致,windows默认为gbk,linux默认为utf-8

    
    with open(savefile, 'w', encoding='utf-8') as w:
        ...
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 12月2日
  • 已采纳回答 11月24日
  • 创建了问题 11月24日

悬赏问题

  • ¥15 乘性高斯噪声在深度学习网络中的应用
  • ¥15 运筹学排序问题中的在线排序
  • ¥15 关于docker部署flink集成hadoop的yarn,请教个问题 flink启动yarn-session.sh连不上hadoop,这个整了好几天一直不行,求帮忙看一下怎么解决
  • ¥30 求一段fortran代码用IVF编译运行的结果
  • ¥15 深度学习根据CNN网络模型,搭建BP模型并训练MNIST数据集
  • ¥15 C++ 头文件/宏冲突问题解决
  • ¥15 用comsol模拟大气湍流通过底部加热(温度不同)的腔体
  • ¥50 安卓adb backup备份子用户应用数据失败
  • ¥20 有人能用聚类分析帮我分析一下文本内容嘛
  • ¥30 python代码,帮调试,帮帮忙吧