
有佬知道这是在弄什么模型吗,有点像稀疏表示分类,但是不确定。如果能给个推导文章地址,就更好了谢谢
关注【相关推荐】
现在我们来看看,noise,模型复杂度,数据量三者对过拟合的影响!!!
我们假设样本的y由真实值f(x),和噪声ϵ<script id="MathJax-Element-17" type="math/tex"></script>表示
假设y为高斯分布,那么他的噪声ϵ<script id="MathJax-Element-18" type="math/tex"></script>可以用方差σ2<script id="MathJax-Element-19" type="math/tex"></script>衡量。我们用模型的最高次幂Qf<script id="MathJax-Element-20" type="math/tex"></script>来衡量目标函数f(x)的复杂度。用N来表示数据集的数目。
那么,在保持模型的复杂度Qf<script id="MathJax-Element-21" type="math/tex"></script>的值不变,N为横坐标,噪声水平σ2<script id="MathJax-Element-22" type="math/tex"></script>为纵坐标,如下图右边度量,颜色由蓝到红 表示过拟合的情况,蓝色最轻,红色最重,那么可得图形为
在保持噪声水平σ2<script id="MathJax-Element-23" type="math/tex"></script>不变,N为横坐标,为模型的复杂度Qf<script id="MathJax-Element-24" type="math/tex"></script>的值纵坐标,如下图右边度量,颜色由蓝到红 表示过拟合的情况,蓝色最轻,红色最重,那么可得图形为
那么根据上面两图,我们可以知道过拟合形成的原因有:
1. 数据量N太小,会产生过拟合。(因为两个图,左边,红色很深)
2. 不确定噪声(就是ϵ<script id="MathJax-Element-25" type="math/tex"></script>数据噪声)太大,会产生过拟合。(根据第一个图,左上角,红色很深)
3. 确定噪声(就是模型的复杂度Qf<script id="MathJax-Element-26" type="math/tex"></script>)太大,会产生过拟合。(根据第二个图,左上角,红色很深)
4. 拟合模型g太复杂,会产生过拟合。(根据第二个图,发现,当Qf<script id="MathJax-Element-27" type="math/tex"></script>很小,在左下角处也有部分红色。意思是,我们把2次和10次放在Qf<script id="MathJax-Element-28" type="math/tex"></script>仅仅为5次的情况下比较,10次一定学得太过了,也会产生过拟合)