机器学习 模型相关问题

Question

如何确定MLP模型的隐藏层数和激活函数以达到最佳性能。

需要帮助
以下是具体的代码

Answer 1

该回答结合ChatGPT4o及杨同学*共同作答, 如有帮助，还请采纳。
要确定MLP（多层感知器）模型的隐藏层数和激活函数以达到最佳性能，可以使用网格搜索（Grid Search）或随机搜索（Random Search）等超参数调优技术。这些方法可以系统地探索不同的参数配置，并找到在验证数据集上表现最好的参数组合。

以下是一个使用网格搜索来寻找最佳隐藏层数和激活函数的示例：

1. 安装必要的库（如果还没有安装）：

   pip install scikit-learn
   

2. 修改现有代码以包含网格搜索：

   import numpy as np
   import pandas as pd
   import matplotlib.pyplot as plt
   import seaborn as sns
   from sklearn.datasets import load_digits
   from sklearn.neural_network import MLPClassifier
   from sklearn.model_selection import train_test_split, GridSearchCV
   from sklearn.metrics import accuracy_score
   
   sns.set(style='darkgrid')
   
   # 加载手写数字数据集
   digits_data = load_digits()
   digits_df = pd.DataFrame(digits_data.data)
   digits_df_label = pd.DataFrame(digits_data.target, columns=['target'])
   
   X = digits_data.images.reshape(len(digits_data.images), -1)
   Y = digits_data.target
   
   X_train, X_test, Y_train, Y_test = train_test_split(X, Y, train_size=0.6)
   
   # 定义参数网格
   param_grid = {
       'hidden_layer_sizes': [(50,), (100,), (100, 50), (100, 50, 30)],
       'activation': ['identity', 'logistic', 'tanh', 'relu'],
       'solver': ['adam'],
       'max_iter': [1000]
   }
   
   # 创建MLP分类器
   mlp = MLPClassifier(verbose=False, warm_start=True)
   
   # 执行网格搜索
   grid_search = GridSearchCV(estimator=mlp, param_grid=param_grid, cv=3, n_jobs=-1)
   grid_search.fit(X_train, Y_train)
   
   # 输出最佳参数和最佳分数
   print("最佳参数: ", grid_search.best_params_)
   print("最佳交叉验证分数: ", grid_search.best_score_)
   
   # 使用最佳参数评估模型
   best_model = grid_search.best_estimator_
   Y_pred_train = best_model.predict(X_train)
   Y_pred_test = best_model.predict(X_test)
   
   print("训练集准确率: ", accuracy_score(Y_train, Y_pred_train))
   print("测试集准确率: ", accuracy_score(Y_test, Y_pred_test))
   
   # 绘制损失曲线
   plt.plot(best_model.loss_curve_)
   plt.xlabel('迭代次数')
   plt.ylabel('损失')
   plt.title('损失曲线')
   plt.grid(True)
   plt.show()
   

该脚本使用GridSearchCV尝试不同的隐藏层大小和激活函数组合，并基于交叉验证的准确率选择最佳的组合。找到的最佳参数用于训练最终的模型，并在测试集上评估其性能。

关键点：

• **param_grid**：定义一个包含搜索参数的字典。这里包括隐藏层大小和激活函数。
• **GridSearchCV**：在指定的参数网格上执行详尽的搜索。
• **cv**：交叉验证折数。
• **n_jobs**：并行运行的作业数（-1表示使用所有处理器）。

这种方法将帮助你找到最佳的MLP模型配置，确保在数据集上获得更好的性能。