深度学习多分类任务如何划分数据集？

Question

我以下主要在讨论Zero-shot Learning

我感觉现有的多任务分类的数据分法不大合理，因为验证集和测试集包含的是完全不同的classes，这很容易导致在验证集上调的参在测试集上表现很差劲，真正分高的参数却难以选择。

唯一的办法就是在验证集上调参的同时在测试集上也看看分，不然不知道模型自个跑到哪去了。但这个作法就很不标准了，几乎等同于在测试集上调参。

当然我目前只了解了视频分类领域，别的领域还不知道，是否都是这样分类的呢？

Answer 1

一般不能根据测试集来选择模型，否则你的模型效果会过拟合。
对于分类任务（无论是否深度学习），应该尽可能让验证集和测试集的标签相同，让两者的分布也接近，这样你在验证集上的效果和测试集合效果会相对更容易一致些。你尽管通过各种方法来优化模型在验证集上的效果，优化好后，在测试集上进行测试，测试集的效果用于衡量模型的效果。