基于故障波形数据的分类辨识

Question

现在有数据集包含六组样本，每组样本都是一类故障，每组中每个样本都采用csv文件存储格式化数据，每个csv文件中有多列特征，第一行列名分别是时间、电流值、电压值等，从第二行开始是具体的数值，这几列数据的量纲分别是毫秒、安培、伏特等，本人想使用深度学习算法学习每个csv文件的数据特征进行分类，应该选择什么方法进行数据预处理，应该采用什么方法学习每一个样本的数据特征，请给出代码示例。

Answer 1

引自免费微信小程序：皆我百晓生

为了基于给定的故障波形数据执行分类任务，我们可以遵循以下步骤：

1. 数据预处理：读取CSV文件，清理数据，标准化特征，并将时间转换为相对时间。

2. 特征提取：对每一列电流和电压数据应用某种窗口滑动策略（例如短时傅里叶变换STFT）以提取频域特征。

3. 构建模型：使用深度学习模型（例如卷积神经网络CNN）对提取的特征进行训练。

4. 训练与评估：分割数据集为训练集、验证集和测试集，然后训练模型并评估性能。

首先，安装所需的库：

pip install pandas numpy matplotlib tensorflow scikit-learn

接下来，我们将按照上述步骤编写Python代码：

import os
import glob
import numpy as np
import pandas as pd
import matplotlib.pyplot as plt
from sklearn.model_selection import train_test_split
from sklearn.preprocessing import StandardScaler
from tensorflow.keras.models import Sequential
from tensorflow.keras.layers import Conv1D, MaxPooling1D, Flatten, Dense, Dropout
from tensorflow.keras.optimizers import Adam
from scipy.signal import stft, istft, butter, filtfilt

def read_csv_file(file_path):
    df = pd.read_csv(file_path)
    return df

def preprocess_data(df):
    # 将时间转换为相对时间
    df['Relative_time'] = df['相对时间（微秒）'].values / 1e6
    # 删除不需要的列
    df.drop(columns=['名称', '相对时间（微秒）'], inplace=True)
    # 标准化特征
    scaler = StandardScaler()
    scaled_features = scaler.fit_transform(df.values[:, 1:])
    return scaled_features, df.iloc[0, 0]

def extract_features(data, window_size, hop_length):
    nperseg = int(window_size * 1e6)
    noverlap = int((window_size - hop_length) * 1e6)
    freqs, times, stft_matrix = stft(data, fs=1e6, nperseg=nperseg, noverlap=noverlap)
    return stft_matrix

def create_model(input_shape):
    model = Sequential([
        Conv1D(32, kernel_size=3, activation='relu', input_shape=input_shape),
        MaxPooling1D(pool_size=2),
        Conv1D(64, kernel_size=3, activation='relu'),
        MaxPooling1D(pool_size=2),
        Flatten(),
        Dense(128, activation='relu'),
        Dropout(0.5),
        Dense(6, activation='softmax')
    ])
    optimizer = Adam(lr=0.001)
    model.compile(optimizer=optimizer, loss='sparse_categorical_crossentropy', metrics=['accuracy'])
    return model

def main():
    data_dir = 'your_dataset_directory'  # 替换为实际数据目录
    window_size = 1000  # 窗口大小（微秒）
    hop_length = 500   # 滑动步长（微秒）

    all_samples = []
    labels = []

    for folder in ['Bird faults', 'Dirty faults', 'Foreign faults', 'Ice faults', 'Thunder faults', 'Wind faults']:
        folder_path = os.path.join(data_dir, folder)
        csv_files = glob.glob(os.path.join(folder_path, '*.csv'))

        for file in csv_files:
            df = read_csv_file(file)
            scaled_data, label = preprocess_data(df)
            features = extract_features(scaled_data, window_size, hop_length)

            all_samples.extend(features)
            labels.extend([folder] * len(features))

    X = np.array(all_samples)
    y = np.array(labels)

    X_train, X_test, y_train, y_test = train_test_split(X, y, test_size=0.2, random_state=42)

    input_shape = (X.shape[-1],)
    model = create_model(input_shape)
    history = model.fit(X_train, y_train, validation_split=0.1, epochs=50, batch_size=32)

    _, accuracy = model.evaluate(X_test, y_test)
    print(f'Test accuracy: {accuracy * 100:.2f}%')

if __name__ == '__main__':
    main()

这段代码会根据提供的故障波形数据进行预处理、特征提取和模型训练。你需要将data_dir变量替换为实际数据所在的目录。这个脚本会创建一个简单的卷积神经网络模型，并使用训练集和验证集进行训练。注意，这只是一个基础的实现，可能需要调整参数以获得更好的结果。

此外，为了可视化数据，你可以使用类似下面的代码来绘制原始波形的一部分：

def plot_signal(signal, title):
    fig, ax = plt.subplots(figsize=(12, 4))
    ax.plot(signal)
    ax.set_xlabel('Sample index')
    ax.set_ylabel('Amplitude')
    ax.set_title(title)
    plt.show()

# 选择一个样本文件并展示其电流Ia信号
df = read_csv_file('your_sample_file.csv')
signal = df['1:0-Ia(A)'].values
plot_signal(signal, 'Example Signal from a CSV File')

记得将your_sample_file.csv替换为实际的CSV文件路径。这将帮助你理解数据的外观以及预处理的效果。