多模态学习过程中遇到的疑问

Question

有没有擅长多模态方向的朋友!
最近在做多模态方向的项目,项目使用URFUNNY数据集,其中包括音频视频和文本的特征和上下文的信息,可以成功加载数据集,加载后输出为

punchline shape:  torch.Size([10, 20, 456])
context shape:  torch.Size([10, 5, 20, 456])
humor labels:  tensor([[0.],
        [1.],
        [1.],
        [0.],
        [0.],
        [1.],
        [0.],
        [1.],
        [1.],
        [0.]], device='cuda:0')

想请教一下如果想进行下一步的融合应该往哪个方向走？需要学习哪种模型？要做些什么？

Answer 1

该回答引用ChatGPT
如果您的目标是使用所有这些信息来预测幽默是否存在，则需要使用一种混合模型来融合文本，音频和视频特征。这种模型可能是多模态神经网络（Multi-Modal Neural Network）或变体，如多模态递归神经网络（Multi-Modal Recurrent Neural Network）或多模态卷积神经网络（Multi-Modal Convolutional Neural Network）。

一种可能的方法是将上下文和笑点特征合并，并将它们传递给一个多层感知机（Multilayer Perceptron）或者其他的分类器。您可以尝试不同的体系结构和参数来找到最佳的性能。

在实际操作中，您需要进行以下步骤：

1、定义模型架构：确定哪些层和单元将构成混合模型，例如多模态神经网络。

2、编写训练代码：将数据分批进行加载，使用您选择的优化器和损失函数来训练模型。您可以尝试不同的优化器（如Adam、SGD等）和损失函数（如二元交叉熵、平均平方误差等）来寻找最佳的性能。

3、进行验证和测试：对于训练完成的模型，您可以使用验证数据集和测试数据集来评估模型的性能，并确定模型是否出现过拟合或欠拟合的情况。

4、调整模型：如果模型的性能不够好，您可以尝试不同的架构和参数来寻找最佳的性能。