卷积神经网络如何添加人为提取的特征

Question

最近在学卷积神经网络，遇到一个问题，如果我的输入不仅包含图片这种二维的特征，还有自己提取的1维特征，如何将两者结合呢？

Answer 1

我通常使用卷积层、池化层和全连接层等层级对输入特征进行处理。对于多个输入特征，可以通过多个输入层将它们分别输入到神经网络中，并在中间层进行合并。

假设我有一个包含图像和其他1维特征的数据集，我可以将图像作为一个输入层，将1维特征作为另一个输入层，然后将它们合并为一个输入层，并传递给下一层。这个过程可以通过使用Keras中的函数式API来实现。

我可以给你提供一个简单的例子，你可以尝试理解，然后根据你的需求去修改代码:
from keras.layers import Input, Conv2D, MaxPooling2D, Flatten, Dense, Concatenate
from keras.models import Model

定义输入层和其他1维特征的输入层

image_input = Input(shape=(height, width, channels))
feature_input = Input(shape=(num_features,))

使用卷积层对图像进行处理

x = Conv2D(32, (3, 3), activation='relu')(image_input)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(64, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Conv2D(128, (3, 3), activation='relu')(x)
x = MaxPooling2D((2, 2))(x)
x = Flatten()(x)

将1维特征和图像特征进行合并

x = Concatenate()([x, feature_input])

使用全连接层进行最终的分类

x = Dense(256, activation='relu')(x)
x = Dense(num_classes, activation='softmax')(x)

定义模型

model = Model(inputs=[image_input, feature_input], outputs=x)

一个是包含图像的输入层，另一个是包含其他1维特征的输入层，首先对图像进行卷积和池化处理，然后将处理后的图像特征和其他1维特征进行合并。最后，我们使用全连接层对合并后的特征进行分类。