爬虫存入CSV文件乱码中文怎么解决

Question

爬虫存入CSV文件乱码中文怎么解决

  f = open('数据.csv', mode='a', encoding='utf-8', newline='')

Answer 1

引自免费微信小程序：皆我百晓生

要解决Python爬虫在保存CSV文件时遇到中文乱码的问题，我们可以采用以下几种方式：

1. 使用csv库中的with语句：在读取CSV文件之前，首先确保文件已经存在并且是有效的。可以使用with语句自动处理打开和关闭操作，这样即使文件编码不正确，也能够保证不会抛出异常。

import csv

# 打开CSV文件并指定编码格式
with open('data.csv', 'r', encoding='utf-8') as file:
    # 使用csv模块的read_csv函数读取文件
    data = csv.reader(file, delimiter=',', quotechar='"')
    
    # 写入新的CSV文件
    with open('output.csv', 'w', encoding='utf-8', newline='') as file:
        writer = csv.writer(file)
        
        # 将每一行转换为字典并写入新文件
        for row in data:
            writer.writerow(row)

1. **使用csv索引：csv.DictReader()默认会将每一行解析为一个dict，并将其作为字典的键值对存储。如果CSV文件中的列包含非ASCII字符，csv.DictReader()也会处理这种情况。csv.DictWriter()则默认将每一条记录作为一个字典的键值对存储，并直接写入输出CSV文件。

import csv

# 打开CSV文件并指定编码格式
with open('data.csv', 'r', encoding='utf-8') as file:
    # 使用csv模块的read_csv函数读取文件
    reader = csv.DictReader(file, delimiter=',', quotechar='"')
    
    # 创建一个新的csv writer，用于写入新的CSV文件
    writer = csv.DictWriter(output_csv, fieldnames=['Column1', 'Column2'])

    # 写入新的CSV文件
    for row in reader:
        writer.writerow(row)

# 在新创建的csv writer中，设置列名和对应的字段类型
writer.columns = ['Column1', 'Column2']

1. **使用第三方库：例如，Pandas的to_csv方法会先尝试将数据转化为pandas DataFrame，然后再写入CSV文件。若DataFrame中含有非ASCII字符，Pandas的to_csv方法会自动添加相应的标题。例如：

import pandas as pd

# 创建一个pandas DataFrame
df = pd.DataFrame({
    'Column1': ['foo', 'bar', 'baz'],
    'Column2': ['hello', 'world', 'how are you']
})

# 将DataFrame写入CSV文件
df.to_csv('output.csv', index=False, header=False)

对于代码部分，下面是一个简单的示例：

import csv

def convert_to_df(csv_file):
    try:
        df = pd.read_csv(csv_file, delimiter=',', quotechar='"')
    except UnicodeDecodeError:
        print(f"CSV file contains non-ASCII characters, converting to a DataFrame...")
        df = pd.read_csv(csv_file.decode('utf-8'), delimiter=',', quotechar='"')
    return df

def write_to_csv(df, output_csv, column_names=None):
    if column_names is None:
        column_names = df.columns

    try:
        writer = csv.DictWriter(output_csv, fieldnames=column_names)
        writer.writeheader()
        writer.writerows(df.values.tolist())
    except UnicodeDecodeError:
        print("Unable to write CSV file due to non-ASCII characters")
        pass

# 读取CSV文件
data = read_csv('data.csv')

# 转换为pandas DataFrame
df = convert_to_df(data)

# 写入新的CSV文件
write_to_csv(df, 'output.csv')

以上三种方法都能有效解决Python爬虫在保存CSV文件时遇到中文乱码的问题。在实际应用中，可以根据具体需求选择合适的方案。如果你需要更详细的代码实现和解释，请提供更具体的问题背景和目标，我会为你提供更准确的帮助。