Sanmu_mumu 2021-11-24 17:40 采纳率: 83.3%
浏览 28
已结题

python批量读取文件时,UnicodeError处理到文件解码问题的异常时中断文件读取

我在尝试读取文件夹中的csv文件,使用异常处理避免中断读取,可是却终止了文件读取,终止位置如下
with open(savefile, 'w') as w:
        for line in linelist:
            w.write(line)
# linelist是列表
错误提示:

w.write(line)
UnicodeEncodeError: 'gbk' codec can't encode character '\xa0' in position 32: illegal multibyte sequence

写入的这段代码是在一个方法名为remove_noise_return_two()的方法体内,异常捕获在主方法中
  try:
        
        lisdir = os.listdir()
        count = 0
        for filename in lisdir:
            count = count+1
            # 0.读取csv原始文件
            df = pd.read_csv(filename, encoding='utf-8', error_bad_lines=False)

            # 1.每读取一个csv文件都将csv文件保存在过渡文件topsave.txt中
            savetxtname = 'topsave.txt'
            df.to_csv(savetxtname, na_rep='NA')

            # 2.调用remove_noise_return_two函数,对txt文件进行清洗,去掉第一行噪音
            pack_class, linelist = remove_noise_return_two(savetxtname)

            time.sleep(0.1)
    except FileNotFoundError as e:
        print(f'{count}:{filename},文件没有找到',e)
    except KeyError as k:
        print(f'{count}:{filename},关键词Key错误',k)
    except UnicodeError as u:
        print(f'{count}:{filename},编码存在问题',u)
假设我有十个文件,我想全部读取,其中按照顺序读取的话第一个文件正常,第二个文件关键词错误异常,第三个文件解码异常,第四个到最后都正常。现在情况是第一个正常读取,第二个正常报错,读取到第三个发现encode异常,报错后不再继续读取第四个文件,很烦┭┮﹏┭┮

停止不读取

img

原文件数量

img

  • 写回答

1条回答 默认 最新

  • llc的足迹 2021-11-24 17:46
    关注

    写入和读取的编码要保持一致,windows默认为gbk,linux默认为utf-8

    
    with open(savefile, 'w', encoding='utf-8') as w:
        ...
    
    本回答被题主选为最佳回答 , 对您是否有帮助呢?
    评论

报告相同问题?

问题事件

  • 系统已结题 12月2日
  • 已采纳回答 11月24日
  • 创建了问题 11月24日

悬赏问题

  • ¥15 用windows做服务的同志有吗
  • ¥60 求一个简单的网页(标签-安全|关键词-上传)
  • ¥35 lstm时间序列共享单车预测,loss值优化,参数优化算法
  • ¥15 Python中的request,如何使用ssr节点,通过代理requests网页。本人在泰国,需要用大陆ip才能玩网页游戏,合法合规。
  • ¥100 为什么这个恒流源电路不能恒流?
  • ¥15 有偿求跨组件数据流路径图
  • ¥15 写一个方法checkPerson,入参实体类Person,出参布尔值
  • ¥15 我想咨询一下路面纹理三维点云数据处理的一些问题,上传的坐标文件里是怎么对无序点进行编号的,以及xy坐标在处理的时候是进行整体模型分片处理的吗
  • ¥15 一直显示正在等待HID—ISP
  • ¥15 Python turtle 画图