深度学习回归r2是负的，但是mse却还可以

Question

深度学习，自己设计了一个多模态融合的大模型，结果mse和mae的结果都还可以接受，但是r2却一直是复数的，然后试了batchsize，但是现在已经到gpu的极限了。请问下这种情况怎么解决

Answer 1

让阿豪来帮你解答，本回答参考chatgpt3.5编写提供，如果还有疑问可以评论或留言

问题描述： 在一个多模态融合的大模型中，mse和mae的结果较好，但r2一直是复数，尝试了调整batchsize，但已经到了GPU极限。请问如何解决这种情况？ 问题分析： R2（R-squared）是模型拟合数据的好坏指标之一，表示回归模型对数据的解释程度，通常范围在0到1之间。如果R2是负数或复数，说明模型的预测效果比简单地预测平均值还要差，这是不合理的。 根据该问题描述，mse和mae的结果还可以接受，说明模型的损失函数的设计是正确的。而R2是复数，说明有些预测结果与实际值之间的误差较大，导致模型的解释程度变得不合理。而调整batchsize已经到GPU极限，说明模型的训练过程已经无法通过增加样本量来提高其拟合效果。因此，需要考虑以下几个方面来解决这个问题：

1. 特征选取和数据预处理：检查输入数据中是否存在异常值或缺失值，并检查特征之间是否存在相关性。可以尝试使用相关性分析、主成分分析或Lasso回归等方法选择最能代表原始数据的特征。
2. 模型结构和超参数：检查模型的结构和超参数是否合理，比如是否有过拟合或欠拟合的情况，是否需要更深的层数或更多的神经元。可以尝试使用交叉验证、网格搜索或贝叶斯优化等方法来调整模型结构和超参数。
3. 活性函数和优化器：检查所选的活性函数和优化器是否适合当前的问题，比如是否需要使用更适合多模态融合问题的激活函数（比如GELU、Swish或PReLU），或者是否需要更适合非凸优化问题的优化器（比如Adam、RMSProp或Adadelta）。 案例： 以下是一个简单的多模态融合模型的示例，其中包含两个输入特征和一个输出标签。该模型使用ReLU激活函数和Adam优化器进行训练，在验证集上验证其拟合效果。如果R2出现复数，可以尝试上述三个方面进行调整。

import tensorflow as tf
# 定义模型结构
input1 = tf.keras.layers.Input(shape=(None, 10), name='input1')
input2 = tf.keras.layers.Input(shape=(None, 20), name='input2')
concat = tf.keras.layers.Concatenate(axis=-1)([input1, input2])
dense1 = tf.keras.layers.Dense(32, activation='relu')(concat)
output = tf.keras.layers.Dense(1, activation=None)(dense1)
model = tf.keras.models.Model(inputs=[input1, input2], outputs=output)
# 定义损失函数和优化器
loss_fn = tf.keras.losses.MeanSquaredError()
optimizer = tf.keras.optimizers.Adam(lr=0.001)
# 编译模型
model.compile(optimizer=optimizer, loss=loss_fn, metrics=['mae', 'mse', 'r2'])
# 定义训练集和验证集
train_data = {'input1': tf.random.normal(shape=(1000, 10)), 
              'input2': tf.random.normal(shape=(1000, 20)),
              'output': tf.random.normal(shape=(1000, 1))}
val_data = {'input1': tf.random.normal(shape=(100, 10)), 
            'input2': tf.random.normal(shape=(100, 20)),
            'output': tf.random.normal(shape=(100, 1))}
# 训练模型
history = model.fit(train_data, epochs=50, batch_size=32, validation_data=val_data)