超参数优化时，验证集中正确率很高，测试集中正确率下降

Question

最近在做核参数的优化，我使用了网格搜索和PSO，两个都出现这个问题。超参数在验证集上表现很好，但是利用该参数进行模型训练和测试，正确率明显下降（有些可能会上升），请问大家这是什么问题？
优化流程：原始数据进行10-fold crossvalidation分成训练集和测试集，在训练集中对每次寻优超参数进行5-fold crossvalidation，找出验证集中表现最优的参数。使用该参数和训练集整体进行模型训练，最后用测试集进行测试，正确率下降了

Answer 1

验证集是从训练集中抽取出来的，其类型总是存在于训练集中。而测试集是独立的，其中一些数据的类型训练集中可能不存在，在处理过程中预测结果会出错，故正确率会下降。