问题:
西瓜书, 留出法(hold-out)介绍:“单次使用留出法得到的评估结果往往不够稳定可靠
,在使用留出法时,一般采用若干次随机划分,重复进行试验评估后采取平均值
作为留出法评估结果。“
如果我进行了100次随机划分,假设我一个模型ax1+bx2+c = y,在100个训练集上会训练出100个Hypothese函数。在每次划分的验证集上都要进行参数选择。假设待选参数有5个,则我的hypothese就是有
500个。我的理解正确吗?如果正确,那么第一个模型我到底选择哪个假设函数呢?是500个中验证误差最小的?
小弟之前的做法,一般利用抽层分样分割数据一次为 训练,验证,测试。
然后
1. 训练算法
1. 选择模型和参数,寻找Cost(cv)最小的
1. 评估测试误差。
这个多次划分,不知道怎么该选择模型和参数?