LASSO回归 如何给出像一般线性回归OLS的自变量标准误

R的glmnet包

  1. glmnet(x=matrix_x1,y=matrix_y1,alpha=1,family="gaussian");
  2. cv.glmnet(matrix_x1,matrix_y1,type.measure="mse",alpha=1,family="gaussian");

Df %Dev Lambda
[1,] 0 0.00000 0.7038000
[2,] 1 0.08548 0.6413000
[3,] 1 0.15650 0.5843000
[4,] 1 0.21540 0.5324000
[5,] 2 0.26510 0.4851000

9 x 1 sparse Matrix of class "dgCMatrix"
(Intercept) -0.88
ab_Jsw 0.07
ab_ACE -0.42
ab_MPD .

ab_mean .

ab_var 0.00
ab_skew -0.08
ab_kurt .

Type 0.63

只有输出预测变量的系数,没有标准误。如何能输出OLS(如下)的预测变量的标准误,还是本身就不能得到这个数据呢。

Coefficients:
Estimate Std. Error t value Pr(>|t|)

(Intercept) -0.44197 0.12736 -3.470 0.001041
ra_Jsw -0.10 0.12400 -0.868 0.389508

ra_ACE -0.04 0.10319 -0.425 0.672593

ra_MPD -0.05 0.14043 -0.383 0.703143

ra_mean 0.44 0.12582 3.521 0.000894 **
ra_var -0.62 0.30266 -2.062 0.044091 *

ra_skew 0.37 0.43590 0.855 0.396201

Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
线性回归、岭回归、Lasso回归
线性回归、岭回归、Lasso回归 引自 她说巷尾的樱花开了 的博客
线性回归、岭回归(Ridge)与Lasso回归
y = ax+b+ ε y1 = ax+b 其中y为样本实际值,y1为预测值。 线性回归、岭回归(Ridge)与Lasso回归拟合出来为y=ax+b. 区别:损失函数:线性回归为误差平方和,岭回归为误差平方和加L2正则项(可以使得每个系数都相对更小从而减少过拟合),Lasso回归为误差平方和加L1正则项(可以通过使很多系数为0来减少生效的变量)。 损失函数最小化方法:梯度下降,最小二乘,...
【ML】线性回归——Lasso回归与最小角回归
最近在看一下Sparse Linear Regression的内容,其中常用的方法就是Lasso回归。主要思想就是在一般的最小二乘上加一个一范数正则项,添加这个正则项之后,得到的回归系数中有些会被置为0,从而得到了一个系数的回归系数。这方面的参考很多,就不详细说明了。 这里,主要要说明的是最小角回归和Lasso回归的关系与区别 在许多参考资料中,都会说最小角回归是解决Lasso的一种高效方法,...
线性回归、预测回归、一般回归
平方误差代价函数 我们的目标就是让J()尽可能的小 梯度下降 := 是赋值的意思 α" role="presentation" style="position: relative;">αα\alpha 是指learning rate(学习速度) 对theta求导(斜率),theta在左半边的时候,斜率为负,所以theta会向右更新,同理在又边的
线性回归logistic回归和一般回归
线性回归、logistic回归和一般回归线性回归、logistic回归和一般回归线性回归、logistic回归和一般回归线性回归、logistic回归和一般回归
线性回归(标准回归)
今天我们来讨论机器学习的另一个领域---预测;首先我们来讨论利用线性回归来预测数值型数据。利用线性回归进行预测的过程就是求解回归系数的过程,求出回归系数后进行系数与特征值乘积求和即可,这里我们使用最小二乘法进行求解:ex0.txt  (提取码:dbe2) def loadDataSet(fileName): numFeat = len(open(fileName).rea
线性回归、岭回归、Lasso回归、逻辑回归的总结
欢迎使用Markdown编辑器写博客 本Markdown编辑器使用[StackEdit][6]修改而来,用它写博客,将会带来全新的体验哦: Markdown和扩展Markdown简洁的语法 代码块高亮 图片链接和图片上传 LaTex数学公式 UML序列图和流程图 离线写博客 导入导出Markdown文件 丰富的快捷键 快捷键 加粗 Ctrl + B 斜体 Ctr...
【ML】线性回归——Lasso回归的一点总结
1.Lasso回归模型 原模型: 其中z是高斯分布噪声,z~N(0,sigma ^ 2) 套索目标函数:   2.Lasso回归的效果(目的) 缩小(收缩)系数,并且将其中一些置零,从而获得岭回归和最优子集选择法的共同优点 参考:lasso.pdf     3.Lasso回归精度分析 其中p是自变量个数,n是样本数目,s是原模型中系数不为零的beta个数,sigm...
Shark源码分析(五):线性回归算法与Lasso回归
Shark源码分析(五):线性回归算法与Lasso回归为什么上一篇还是三,这一篇就跳到五了呢?其实我们原来提到过:方法=模型+策略+算法方法 = 模型+策略+算法这里的模型与算法我们之前都已经提到过了,虽然只是介绍了一个基类,并没有涉及到其具体的实现。在这里我们就会揭开其真正面目了。『策略』我们还没有介绍过,其实就是目标函数,在前面一些较为简单的算法中并没有涉及到这块。为了整个逻辑的完整性,我还是打
机器学习总结(一):线性回归、岭回归、Lasso回归
线性回归作为一种回归分析技术,其分析的因变量属于连续型变量,如果因变量转变为离散型变量,将转换为分类问题。回归分析属于有监督学习问题,本博客将重点回顾标准线性回归知识点,并就线性回归中可能出现的问题进行简单探讨,引出线性回归的两个变种岭回归以及Lasso回归,最后通过sklearn库模拟整个回归过程。 目录结构 线性回归的一般形式 线性回归中可能遇到的问题 过拟合问题及其解决方法 线性回归代码实现
回归,岭回归。LASSO回归
矩阵表示多元线性回归 Y=BX+a Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。 也即是残差平方和最小时。B(Bi)的值。可以证明B的最小二乘估计=(XTX)-1XTy 其中(XTX)-1为广义逆。 如果X存在线性相关的话,XTX没有逆: 1.出现多重共线性2.当n 岭回归(Ridge Regression)---------共线性问题 先对数据做标准化 B(K)=(X
Ridge 回归和 Lasso 回归
关于特征选择,下列对 Ridge 回归和 Lasso 回归说法正确的是? A. Ridge 回归适用于特征选择 B. Lasso 回归适用于特征选择 C. 两个都适用于特征选择 D. 以上说法都不对 答案:B 解析:Lasso 回归会让一部分回归系数刚好可以被约束为 0,起到特征选择的效果。 Ridge 回归又称岭回归,它是普通线性回归加上 L2 正则项,用来防止训练过程中出现的过拟...
线性回归、logistic回归和一般回归笔记
线性回归、logistic回归和一般回归笔记
Lasso回归
数学解释 坐标下降法 最小角回归 sklearn中的Lasso回归 举个栗子 数学解释 Lasso是一种估计稀疏线性模型的方法,倾向于少数参数值的情况. 对于给定解决方案是相关的情况下, 有效的减少变量的数量 其目标函数是最小化: 求解过程 lasso解决带的惩罚项的最小平方和, 其中是一个常量,是参数向量的一范式 由于正则项, 导致该目...
Python实现线性回归3,局部加权线性回归,lasso回归,岭回归
接上篇 5.局部加权线性回归 局部加权线性回归(LWLR),在该算法中,我们给待预测点附近的每个点赋予一定的权重,在这个自己上基于最小均方差进行普通的回归,每次预测均需要先选取出对应数据子集。该算法接触回归系数w的形式如下: 普通线性回归:w^=(XTX)−1⋅XTy\hat{w} = (X^TX)^{-1}·X^Tyw^=(XTX)−1⋅XTy 加...
SparkML之回归(二)岭回归和Lasso阐述及OLS,梯度下降比较
岭回归(RidgeRegression)它的上一级称之为Tikhonov regularization,是以Andrey Tikhonov命名的。 Lasso(least absolute shrinkage and selection operator)。两者都经常用于病态问题的正规化。 在前面部分已经说了,假设我们知道矩阵A和向量b,我们希望找到一个向量x,有: Ax = b 标准
【转】回归(一):标准线性回归
回归(一):标准线性回归 原文 http://www.cnblogs.com/mooba/p/5947109.html 概念 线性回归(linear regression)意味着可以把输入项分别乘以一些常量,然后把结果加起来得到输出。 这个输出就是我们需要预测的目标值 而这些常量就是所谓的回归系数 我们把求这些回归系数的过程叫做回归,这个过程是对已知数据点的拟合过程 更一般化的解释来...
lasso(L1正则化、lasso回归)
L1、L2正则化对比
回归,岭回归。LASSO回归等
原文:https://m.imooc.com/article/details?article_id=43624 矩阵表示多元线性回归Y=BX+aQ(B)=(Y-BX)T(Y-BX)达到最小时的B值。也即是残差平方和最小时。B(Bi)的值。可以证明B的最小二乘估计=(XTX)-1XTy其中(XTX)-1为广义逆。如果X存在线性相关的话,XTX没有逆:1.出现多重共线性2.当n<p,变量比...
岭回归(ridge回归)、lasso回归、ElasticNet回归
作者:离散梦 欢迎大家给出宝贵的建议!       岭回归(ridge回归)、lasso回归、ElasticNet回归     为了防止过拟合的现象出现,引入以上优化方法。(正则化)   岭回归就是引入L2正则化项 lasso回归就是引入L1正则化项 ElasticNet回归就是引入L1和L2正则化项(lasso和ridge回归组合)。 公式:   岭回归器就是用普通...
岭回归与lasso回归
a. 什么是岭回归和lasso回归?为什么要用岭回归和lasso回归?岭回归选参的一般原则是什么。 对OLS进行范数1正则化叫Lasso回归。 对OLS进行范数2正则化叫岭回归。   进行岭回归和Lasso回归的主要目的: 1.解决病态矩阵的过拟合和欠拟合问题。 2.消除多重共线性造成的行列式趋近于0,从而引起的大系数问题。 选参遵循原则如下: (1)在岭回归中设计矩阵X已经中心化...
岭回归和Lasso回归
偏差和方差 机器学习算法针对特定数据所训练出来的模型并非是十全十美的,再加上数据本身的复杂性,误差不可避免。说到误差,就必须考虑其来源:模型误差 = 偏差(Bias)+ 方差(Variance)+ 数据本身的误差。其中数据本身的误差,可能由于记录过程中的一些不确定性因素等导致,这个我们无法避免,能做的只有不断优化模型参数来权衡偏差和方差,使得模型误差尽可能降到最低。 偏差:导致偏差的原因有多种,其...
[机器学习]Lasso回归的优化
1. 回顾  回顾线性回归和ridge回归,均可用梯度下降+最小二乘法优化,详见[1]的1,2部分,优化简单。 此外,关于Lasso、L2正则化等的解释 参见本人的另一篇博文,但未涉及优化。2. Lasso的优化目标表达式: (a) Lasso回归有时也叫做线性回归的L1正则化,求解的主要问题是损失函数不连续可导,故最小二乘、梯度下降等方法均失效。那么,如何优化呢?1) 坐标下降法(coordin...
LASSO回归实践
基于LASSO方法,在基金正式报告之前挖掘出基金重仓股。
机器学习——岭回归和LASSO回归
1.用矩阵表示多元线性回归 Y=BX+a Q(B)=(Y-BX)T(Y-BX)达到最小时的B值。 也即是残差平方和最小时。B(Bi)的值。可以证明B的最小二乘估计=(XTX)-1XTy 其中(XTX)-1为广义逆。 如果X存在线性相关的话,XTX没有逆:     1.出现多重共线性2.当n 岭回归(Ridge Regression) 先对数据做标准化 B(K)=(XTX+kI)X
岭回归、lasso回归
岭回归(ridge regression)和lasso(least absolute shrinkage and selection operator)都是OLS的改进,知乎上有关于三者异同的详细讨论:https://www.zhihu.com/question/38121173关于lasso:https://zhuanlan.zhihu.com/p/26766850这里记录一下最近的学习心得。岭...
岭回归和Lasso 回归
线性回归存在问题: 在处理复杂的回归问题时,普通的线性回归问题会出现预测精度不够的问题,如果模型中特征之间有较强的相关关系时,即特征之间出现严重的多重共线性时,用普通最小二乘法估计模型参数,往往参数估计的方差太大,求出来的模型就很不稳定。再具体取值上与真值有较大偏差。这时就需要对数据中的特征进行提取,回归算法里面的特征选择的方法有岭回归和 Lasso 回归。这两种方法都属于正则化的特征选...
python实现Lasso回归
Lasso原理 Lasso与弹性拟合比较python实现 import numpy as np import matplotlib.pyplot as plt from sklearn.metrics import r2_score #def main(): # 产生一些稀疏数据 np.random.seed(42) n_samples, n_features = 50, 200 X = np...
lasso回归MATLAB程序
LASSO是由1996年Robert Tibshirani首次提出,全称Least absolute shrinkage and selection operator。该方法是一种压缩估计。它通过构造一个惩罚函数得到一个较为精炼的模型,使得它压缩一些系数,同时设定一些系数为零。因此保留了子集收缩的优点,是一种处理具有复共线性数据的有偏估计。
Lasso回归与岭回归
线性回归作为一种回归分析技术,其分析的因变量属于连续型变量,如果因变量转变为离散型变量,将转换为分类问题。回归分析属于有监督学习问题,本博客将重点回顾标准线性回归知识点,并就线性回归中可能出现的问题进行简单探讨,引出线性回归的两个变种岭回归以及Lasso回归,最后通过sklearn库模拟整个回归过程。 目录结构 线性回归的一般形式 线性回...
R---岭回归 & lasso回归
岭回归 lasso回归
Lasso回归、岭回归理解
有两种情况不可逆: (1) 当X中有线性相关的向量,也就是特征之间可能有重叠,或者互相影响的时候 (2) 当X 列数大于行数,对应于特征数大于样本数,此时不可逆 。两种情况X转置*X的行列式为0 克服: (1)将高自相关的变量进行删除; (2)岭回归也能够避免X’X的不可逆。 岭回归一般可以用来解决线性回归模型系数无解的两种情况 1970年Heer提出了岭回归方法,非常巧妙的化解...
最小二乘 岭回归 lasso回归
线性回归适用于数值型数据,目的是对数据进行预测。线性回归的一般模型可以表示为: y=θ0+∑mi=1θixiy=\theta_0+\sum_{i=1}^{m}\theta_ix_i 令x=(1,x1,…,xn)T,θ=(θ0,θ1,…,θn)Tx=(1,x_1,\dots,x_n)^T,\theta=(\theta_0,\theta_1,\dots,\theta_n)^T,则上式可以重写为
岭回归(Ridge)和Lasso回归
在线性回归的问题里面,我们总会遇到一种问题:那就是过拟合问题 其实解决过拟合问题我们可以采用很多办法 **例如 : ** 降低模型复杂度 减少数据维度 降噪 增加样本数 使用验证集 等等 我们在这里探讨的是岭回归(Ridge): 线性回归的代价函数公式就是误差平方和。岭回归的话其实就是在代价函数公式上加上 1/2 * 所有参数的平方的和。(如图)↓ 而这个Lasso回归呢。其实就...
普通最小二乘法讲解OLS线性回归
文章来源:http://pocore.com/blog/article_529.html系列阅读原始数据  1 x  y  最终拟合为y=a*x+1*b1.000000 0.067732 3.176513...xArr: [[1.0, 0.067732], [1.0, 0.42781], ...]yArr: [3.176513, 3.816464, 4.550095,...]矩阵转换xMat:n*...
线性回归 岭回归 lasso 详细介绍
线性回归 已知nnn个样本{(xi,yi)}ni=1{(xi,yi)}i=1n\{(x_i,y_i)\}^n_{i=1},其中xi∈Rd,yi∈Rxi∈Rd,yi∈Rx_i\in \mathbb{R}^d,y_i\in \mathbb{R} 回归问题学习实值函数y=f(x)y=f(x)y=f(x),其中f:Rd→Rf:Rd→Rf:\mathbb{R}^d\to \mathbb{R} 最小...
继续关注回归和最小二乘法OLS
Method of Moments上一篇文章计量经济学和一些回归知识里面求 β1\beta_1 的估计值,我只给出了一个公式;套这个公式有一种可以逼格升高的说法,叫做“使用Method of Moments“,只是个名词,知道下就可以了。文章里说通过 β1\beta_1 就可以求得 β0\beta_0 ,事实确实是这样的,但具体怎么求读者可能就迷糊了,这里来细讲一下。整一个Method of Mo
回归-线性回归
1.简介回归是指预测的输出值为连续的实值; 线性是说预测函数是属性的线性组合. f(x)=wTx+b(1)f(\boldsymbol x)=\boldsymbol w^T\boldsymbol x+b \tag 1 线性模型(linear model)简单, 易于建模, 但却蕴含着机器学习的重要思想.由于w\mathbf w直观地表达了各属性在预测中的重要性, 所以线性模型有着很好的可解释性(
回归之线性回归
似曾相识   初中的时候就有过这样的题目:”给出一部分点,要求根据这些点去得到一个函数曲线去尽可能的拟合所有的点”,那时候更多的都是拟合一条直线。   在这个房价预测的例子中我们也可以去这么做,这好像是回到了初中时代,而实际上房价预测的机器学习方法思想和这个那么相近,那丝毫不虚呀(PS:实际上这一块看了特多资料,还是虚) 言归正传...
计量经济学笔记之OLS回归的推导
入坑计量经济学(重新学习一遍,大学学的计量太简单了,只是操作软件,对于计量模型理解很浅,这一次关注核心的原理、公式的推导,python在计量经济学中的应用) ...
相关热词 c#部署端口监听项目、 c#接口中的属性使用方法 c# 昨天 c#func链接匿名方法 c#怎么创建文件夹 c#从键盘接收空格 c#da/ad c#部门请假管理系统 c#服务器socket c# 默认的访问修饰符