python 做CSV 批量数据分析处理

Question

一个文件夹里有很多csv文件，每一个里面有四列数据，希望批量将每一个文件的第四列取出来，输出到一个excel文件里，表头是该csv文件的名称，仅此而已，望大神速回复

Answer 1

参考GPT和自己的思路，你可以使用 Python 的 pandas 库来处理这个任务。下面是一个基本的代码框架，它遍历一个文件夹中的所有 CSV 文件，并将每个文件的第四列数据提取到一个新的 Excel 文件中，文件名为原始 CSV 文件的名称。

import os
import pandas as pd

# 定义输入和输出文件夹
input_folder = 'path/to/csv/folder'
output_file = 'path/to/output/excel/file.xlsx'

# 初始化结果 DataFrame
result_df = pd.DataFrame(columns=['file_name', 'column_4_data'])

# 遍历 CSV 文件
for file_name in os.listdir(input_folder):
    if file_name.endswith('.csv'):
        # 读取 CSV 文件
        file_path = os.path.join(input_folder, file_name)
        df = pd.read_csv(file_path, usecols=[3])
        
        # 将结果添加到结果 DataFrame 中
        column_4_data = df.iloc[:, 0].values
        result_df = result_df.append({'file_name': file_name, 'column_4_data': column_4_data}, ignore_index=True)

# 将结果保存到 Excel 文件中
result_df.to_excel(output_file, index=False)

在上面的代码中，input_folder 是存储 CSV 文件的文件夹路径，output_file 是要生成的 Excel 文件的路径。代码使用 os.listdir 函数遍历输入文件夹中的所有文件，然后使用 pandas 库的 read_csv 函数读取每个 CSV 文件的第四列数据。最后，代码将每个文件的第四列数据添加到结果 DataFrame 中，并使用 to_excel 函数将结果保存到 Excel 文件中。

请注意，上述代码仅提供了一个基本的框架，你可能需要根据你的具体需求进行更改。例如，你可能需要处理文件中的缺失值，或者需要根据其他列进行分组或筛选。你可以使用 pandas 库的其他函数来实现这些需求。