Sanmu_mumu 2021-11-24 17:40 采纳率: 83.3%
浏览 28
已结题

python批量读取文件时,UnicodeError处理到文件解码问题的异常时中断文件读取

我在尝试读取文件夹中的csv文件,使用异常处理避免中断读取,可是却终止了文件读取,终止位置如下
with open(savefile, 'w') as w:
        for line in linelist:
            w.write(line)
# linelist是列表
错误提示:

w.write(line)
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 32: illegal multibyte sequence

写入的这段代码是在一个方法名为remove_noise_return_two()的方法体内,异常捕获在主方法中
  try:
        
        lisdir = os.listdir()
        count = 0
        for filename in lisdir:
            count = count+1
            # 0.读取csv原始文件
            df = pd.read_csv(filename, encoding='utf-8', error_bad_lines=False)

            # 1.每读取一个csv文件都将csv文件保存在过渡文件topsave.txt中
            savetxtname = 'topsave.txt'
            df.to_csv(savetxtname, na_rep='NA')

            # 2.调用remove_noise_return_two函数,对txt文件进行清洗,去掉第一行噪音
            pack_class, linelist = remove_noise_return_two(savetxtname)

            time.sleep(0.1)
    except FileNotFoundError as e:
        print(f'{count}:{filename},文件没有找到',e)
    except KeyError as k:
        print(f'{count}:{filename},关键词Key错误',k)
    except UnicodeError as u:
        print(f'{count}:{filename},编码存在问题',u)
假设我有十个文件,我想全部读取,其中按照顺序读取的话第一个文件正常,第二个文件关键词错误异常,第三个文件解码异常,第四个到最后都正常。现在情况是第一个正常读取,第二个正常报错,读取到第三个发现encode异常,报错后不再继续读取第四个文件,很烦┭┮﹏┭┮

停止不读取

img

原文件数量

img

  • 写回答

1条回答 默认 最新

  • llc的足迹 2021-11-24 17:46
    关注

    写入和读取的编码要保持一致,windows默认为gbk,linux默认为utf-8

    
    with open(savefile, 'w', encoding='utf-8') as w:
        ...
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 12月2日
  • 已采纳回答 11月24日
  • 创建了问题 11月24日

悬赏问题

  • ¥15 如何解决y_true和y_predict数据类型不匹配的问题(相关搜索:机器学习)
  • ¥15 PB中矩阵文本型数据的总计问题。
  • ¥40 宿舍管理系统设计(c#)
  • ¥15 MATLAB卫星二体模型仿真
  • ¥15 怎么让数码管亮的同时让led执行流水灯代码
  • ¥20 SAP HANA SQL Script 。如何判断字段值包含某个字符串
  • ¥85 cmd批处理参数如果含有双引号,该如何传入?
  • ¥15 fx2n系列plc的自控成型机模拟
  • ¥15 时间序列LSTM模型归回预测代码问题
  • ¥50 使用CUDA如何高效的做并行化处理,是否可以多个分段同时进行匹配计算处理?目前数据传输速度有些慢,如何提高速度,使用gdrcopy是否可行?请给出具体意见。