机器学习中分类器验证AUC值不理想,能否比较验证集实际频率和预测概率均值来说明模型准确性。 80C

大家好,我目前在用一批土壤数据做二分类模型,尝试了随机森林、SVM、逻辑斯蒂回归、朴素贝叶斯等常用分类算法,但是结果不太理想。不理想指的是采用常规的ROC曲线法进行模型精度验证时,曲线基本就在0.5随机线附近,AUC也就0.53左右的样子。
之前看到过一篇关于贝叶斯概率预测模型的文章(Wu Bo, 2018),他在检验模型准确性时没有采取ROC曲线法或类似基于混淆矩阵的方法,而是把验证数据集当作一个整体,计算了两个分类各自的频率,然后将验证数据集参数的平均值带入训练好的贝叶斯模型,求出一个后验概率,通过比较后验概率与实际频率,来说明模型的好坏。
于是尝试用这种思路,去把我的验证数据集每个样本带入模型计算得到的那个数字(例如贝叶斯和逻辑斯蒂回归都可以给出后验概率)求平均,发现这个平均数确实和实际两个类别的频率很接近。我又通过改变数据的分类阈值(比如说原来是170cm以上算高个,现在调整成160就是高个儿),发现不同阈值下求得的这个平均数和相应的实际频率都很一致。
本人数学底子挺差的,不知道这种验证方法是否可行?如果可行的话,后面是什么原理?能否指点个参考文献?如果不行的话,又是为什么呢?

1个回答

感觉你的描述就是计算交叉熵(Cross Entropy)

https://blog.csdn.net/tsyccnh/article/details/79163834

tuzhiyoyo
tuzhiyoyo 十分感谢!我搜了下资料,交叉熵一般用于训练模型时构建损失函数。那么用交叉熵进行验证是否可行呢?没有看到有人提过。另外它用于比较几种不同模型泛化能力时,谁更小谁更好,那么有没有一个经验数值,交叉熵低于该数值时,即可认为模型泛化能力足够好呢?
10 个月之前 回复
Csdn user default icon
上传中...
上传图片
插入图片
抄袭、复制答案,以达到刷声望分或其他目的的行为,在CSDN问答是严格禁止的,一经发现立刻封号。是时候展现真正的技术了!
其他相关推荐
机器学习分类器性能指标ROC曲线、AUC值
一、ROC曲线:什么是ROC曲线:受试者工作特征曲线 / 接收器操作特性曲线(receiver operating characteristic curve), 是反映敏感性和特异性连续变量的综合指标,是用构图法揭示敏感性和特异性的相互关系,它通过将连续变量设定出多个不同的临界值,从而计算出一系列敏感性和特异性,再以敏感性为纵坐标、(1-特异性)为横坐标绘制成曲线,曲线下面积越大,诊断准确性越高。...
Tensorflow&CNN:验证集预测与模型评价
版权声明:本文为博主原创文章,转载 请注明出处:https://blog.csdn.net/sc2079/article/details/83153693 - 写在前面   本科毕业设计终于告一段落了。特写博客记录做毕业设计(路面裂纹识别)期间的踩过的坑和收获。希望对你有用。   本篇博客主要是评估所训练出来的CNN分类模型的性能。主要有几点:验证集预测、多分类混淆矩阵、多分类评价指标、预测结果...
机器学习常用的分类器比较
传统的机器学习的监督学习分类分类和回归,分类是争对离散的数据,而回归是争对连续的数据,在数据预处理好的基础上要对数据进行预测,通常采用CV交叉验证来进行模型评价和选择。这篇文章通过连续的数据结合sklearn库对各种回归器做一比较: 1.linear regression 缺点:顾名思义,linear regression是假设数据服从线性分布的,这一假设前提也限制了该模型的准确率,因为现实中
获取预测概率值
随机森林预测,并且获得预测可能性大小
机器学习性能指标(ROC曲线、AUC值)
参考:https://blog.csdn.net/zdy0_2004/article/details/449485111.为什么使用Roc和Auc评价分类器当测试集中的正负样本的分布变换的时候,ROC曲线能够保持不变。在实际的数据集中经常会出现样本类不平衡,即正负样本比例差距较大,而且测试数据中的正负样本也可能随着时间变化...
keras中自定义验证集的性能评估(ROC,AUC)
在keras中自带的性能评估有准确性以及loss,当需要以auc作为评价验证集的好坏时,就得自己写个评价函数了: from sklearn.metrics import roc_auc_score # AUC for a binary classifier def auc(y_true, y_pred): ptas = tf.stack([binary_PTA(y_true,y_p
基于概率预测的多分类模型
简介:课程以目前流行的两个框架scikit-learn 以及大名鼎鼎的Tensorflow作为作为实战工具,让学员系统完整掌握机器学习和深度学习这两个在目前人工只能炙手可热的技能,让人生事业更上一个台阶。rn本课程以基础原理+实战案例, 让学员学以致用。
机器学习中的AUC理解
转载请注明出处:http://blog.csdn.net/gamer_gyt 博主微博:http://weibo.com/234654758 Github:https://github.com/thinkgamer 最近在做GBDT模型,里边用到胡模型评价方法就是AUC,刚好趁此机会,好好学习一下。 混淆矩阵(Confusion matrix) 混淆矩阵是理解大多数评价指...
机器学习常用的分类器比较-实例
这篇学习文章是在上一篇博客(http://blog.csdn.net/july_sun/article/details/53088673)的基础上,从机器学习的四要素(数据,算法和模型,计算机硬件,机器学习平台)角度出发用实例将各个分类器做一比较.
机器学习来预测硬盘故障
随着AIOPS越来越热,有一群系统研发工程师正在努力尝试利用机器学习和大数据让苦逼的运维保障工作变得高大上, 比如流量请求智能调度,服务异常自动修复,机器故障提前预测等等。机器学习通过对历史数据的挖掘和机器学习,总结数据规律,实时指导分析出网站服务是否异常,服务器负载是否过高,网站是否遭受攻击等等线上可能存在的问题.攻击流量自动检测常用的DDos攻击方法有:SYN Flood、 DNS Query...
机器学习中的训练集,验证集和测试集
训练集(train set) —— 用于模型拟合的数据样本。     验证集(development set)—— 是模型训练过程中单独留出的样本集,它可以用于调整模型的超参数和用于对模型的能力进行初步评估。      在神经网络中, 我们用验证数据集去寻找最优的网络深度(number of hidden layers),或者决定反向传播算法的停止点或者在神经网络中选择隐藏层神经元的数量;   ...
【机器学习详解】概率生成模型与朴素贝叶斯分类器
1.概率生成模型首先介绍生成模型的概念,然后逐步介绍采用生成模型的步骤。1.1概念 即对每一种类别CkC_k分别建立一种模型p(Ck|x)p(C_k|x),把待分类数据x分别带入每种模型中,计算后验概率p(Ck|x)p(C_k|x),选择最大的后验概率对应的类别。 假设原始数据样本有K类,生成学习算法是通过对原始数据类p(x|Ck)p(x|C_k)与p(Ck)p(C_k)建立数据类模型后,采用贝
【AI数学原理】概率机器学习(二):朴素贝叶斯分类器
朴素贝叶斯分类器,英文叫’naive Bayes classifier’.顾名思义,就是很naive的一个算法。naive主要体现在一个方面 —— “属性条件独立性假设”。就是用贝叶斯算法进行分类的时候,假设所有的属性相互独立。 公式符号说明: AAA表示输入属性,等价x和x⃗x→\vec{x}(x粗写表示这是一个多维向量)。 BiBiB_i表示分类的类别,等价ccc。 xixix_i表示x...
概率与频率
数学实验教程的课后习题matlab,有程序与运行结果,分析等
机器学习中的训练集、验证集和测试集
在机器学习中我们把数据分为测试数据和训练数据。 测试数据就是测试集,是用来测试已经训练好的模型的泛化能力。  训练数据常被划分为训练集(training set)和验证集(validation set),比如在K-折交叉验证中,整个训练数据集D,就被分为K个部分,每次挑选其中的(K-1)部分做训练集,剩下的部分为验证集。 训练集是用来训练模型或确定模型参数的,如ANN中权值,CNN中的权值等;验证集
【机器学习】:理解分类模型评价指标AUC
ROC(Receiver Operating Characteristic) 受试者工作特性曲线 纵轴TPR(真正例率)和横轴FPR(假正例率)分别为 对于二分类问题,预测模型会对每一个样本预测一个概率p。 然后,可以选取一个阈值t,让p>t的样本预测为正,反之为负。 这样一来,根据预测的结果和实际的样本标签可以把样本分为4类 实际正样本 实际负样...
机器学习实战_朴素贝叶斯分类器_预测疾病
import numpy as np """ 函数说明:创建实验样本 Parameters:无 Returns: postingList - 实验样本切分的词条 classList - 类别标签 Modify: 2019-03-23 """ def loadDataSet(): postingList = [["打喷嚏", "护士"], ...
matlab预测ARMA-GARCH 条件均值和方差模型
原文链接:http://tecdat.cn/?p=2841 此示例显示MATLAB如何从复合条件均值和方差模型预测 和条件差异。 步骤1加载数据并拟合模型 加载工具箱附带的纳斯达克数据。将条件均值和方差模型拟合到数据中。 nasdaq = DataTable.NASDAQ; r = price2ret(nasdaq); N = length(r); model = arima('...
Java机器学习库ML之七分类预测输出概率值
场景:一般分类预测直接输出类别标记,不过有些情况需要输出对应类别的概率值,比如判定为正例的概率是0.6,而判定为负例的概率是0.3,那自然标记为正例,这里就是看ML用classDistribution输出各类别的概率值。参考代码如下: /** * This file is part of the Java Machine Learning Library * * The Java Mac
机器学习中的ROC曲线与AUC面积
先看这张图,图中的虚线是阈值,大于这个阈值的将会被预测为正例,小于这个阈值的将会被预测为负例。当阈值从右往左滑动时,真正率会上升,假正率也会上升,当阈值为0时,两个都为1 .当阈值为1时,两个都为0.。我们的目的是让这两个峰值的横坐标尽可能远离,即没有交叠的部分。即当某个阈值的时候,真正率为1,假正率为0.即这个曲线越接近左上角,分类效果越好。这个曲线叫ROC曲线,auc即曲线下面的面积。面积...
机器学习模型部署及在线预测
到目前为止,我们训练的传统机器学习模型都只能进行本地预测(本地调用test方法),那么怎么样把我们的模型部署到线上,然后做在线实时预测呢? 我们的模型实际上就是一个y = f(x)函数,x是特征数据,y是预测结果。我们训练模型的目的就是为了得到f(x)函数的参数; 训练完成后需要对参数进行序列化存储,生成模型文件,这一步叫做模型的导出; 模型的部署即加载模型文件并在内存组装f(x)函数提供在线服务...
机器学习中的softmax回归分类器
softmax分类器,softmax函数首先我们可以先了解一下sigmoid函数 在cs231n课程中 AK这样介绍softmax是一个一般化的sigmoid函数sinmoid函数sinmoid函数如下 图像表示 softmax函数softmax函数如下 softmax函数的本质就是将一个K维的任意实数向量压缩(映射)成另一个K维的实数向量,其中向量中的每个元素取值都介于(0,1)之间
验证身份证的准确性
验证身份证的准确性 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~ 开发工具与关键技术:Visual Studio 2015 作者:李成富 撰写时间:2019年6月12日 ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~~...
理想方波的频率
用于测理想情况下,方波的频率。用于测理想情况下,方波的频率。
数据挖掘验证和评估:准确性
本课程对数据挖掘及SQL Server+ Office 数据挖掘功能进行了简要的介绍;给出了Office Excel 数据挖掘外接程序的下载和安装方法;较为详细的介绍了数据准备、数据建模、准确性和验证等相关原理和理论、演示与实践操作。
机器学习:验证集的作用是什么?
在看吴恩达的机器学习课程上遇到这样一个问题:rn为什么说把数据划分为训练集,验证集,测试集要比划分为rn训练集,测试集要好?视频里的解释没有看懂。rn要有一个测试集我明白,是为了防止对训练集的过拟合。rn但有验证集我真的不是很明白。
机器学习备忘录 | AUC值的含义与计算方法
引言 在机器学习领域,AUC值经常用来评价一个二分类模型的训练效果,对于许多机器学习或者数据挖掘的从业者或在校学生来说,AUC值的概念也经常被提起,但由于大多数时候我们都是借助一些软件包来训练机器学习模型,模型评价指标的计算往往被软件包所封装,因此我们常常会忽略了它们的具体意义,这在有些时候会让我们对于手头正在进行的任务感到困惑。笔者也曾遇到类似的问题,因此希望借由本文来梳理下AUC值的意义与计...
贝叶斯概率与频率派概率
    频率派概率从自然的角度出发,试图直接为事件本身建模,通俗点就是如果事件A独立试验中频率趋于极限p那么p就是该事件的概率。与概率直接与事件发生的频率相联系,被称为频率派概率。    贝叶斯概率就是想构建一套比较完备的框架来描述最能服务于理论推断这一目的的猜的过程,贝叶斯概率论为人的知识建模来定义概率概念。设计确定性水平时,被称为贝叶斯概率,贝叶斯概率强调强化自身,用自身预测概率来表示之中信任...
编程验证足球预测算法的准确概率
最近闲来无事,学了golang语言,感觉简洁强大,索性用golang练手,开发了一系列的小软件,其中就有足球预测算法的分析软件,曾经醉心于研究足球预测,收集了很多预测算法,现在一一验证,数据是采用的爆盘侠的数据:http://www.baopanxia.com/  共47万比赛数据,算法如下: 埃罗预测法:埃罗预测法的创始人是美国的物理学博士阿帕德·埃罗博士(Dr.Aroad Elo)。该方法最
WPF验证身份证准确性
txt_idCar_TextChanged(object sender, TextChangedEventArgs e) { try { //获取页面数据 string strIdCard = txt_idCar.Text.Trim(); //1.验证身份证准确性 ...
Python搭建投票分类器模型来进行机器学习实验
    投票分类器模型是一种很常用的模型,在很多外文论文中多次见到,诸如随机森林这般强悍的分类器核心的思想就是:投票。投票分类器简单来说并不是一种固定具体的分类器模型,而是一种框架,在这种框架里面可以套用各式各样的基分类器模型,就像在随机森林中的基分类器就是决策时,在GBDT模型中的基分类器就是CART一样,关于如何选取合适的及分类器模型这里有几个建议:1. 各个基分类器模型最好是各有优劣,以便于...
FFT中频率和实际频率的关系
FFT 频率 实际频率 关系,一个比较详细的说明文档。FFT频率与实际物理频率的分析
模型评估:K-S值和AUC的区别
K-S评估和AUC评估
机器学习:训练集,验证集与测试集
来源:http://mooc.study.163.com/learn/2001281003?tid=2001391036#/learn/content?type=detail&id=2001702114&cid=2001693028作用训练集:用于训练模型的数据验证集:用于模型选择的数据测试集:用于评估最终选择出的模型的数据划分比例小数据量: 6 : 2 : 2大数据量: 98 :...
机器学习——训练集、验证集、测试集
为什么要将数据集分为训练集、验证集、测试集三部分? 对于很多机器学习的初学者来说,这个问题常常令人很迷惑,特别是对于验证集和测试集的区别更让人摸不到头脑。 下面,我谈一下这三个数据集的作用,及必要性: 训练集:显然,每个模型都需要训练集,训练集的作用很明显,就是直接参与模型的训练过程。 测试集:测试集完全不参与训练,就是说模型的产生过程和测试集是完全没有关系的。之所以要求测试集和模型的产生...
解析模型——预测轰炸机攻击成功的概率
例:一个军事行动的指挥官计划对敌方一个有防卫的目标实行空中打击。在战斗开始的第一天,每架轰炸机有0.5的概率摧毁目标,假设如果轰炸机穿越空中防线后发现目标的概率是0.9.目标由两个地对空(SAM)阵地和若干个防空火炮组成,每个SAM阵地有自己的跟踪雷达和计算机指挥设备,它能够同时跟踪两架飞机,同时操纵两枚导弹。情报估计一枚导弹有0.6概率摧毁其目标飞机。两个SAM阵地共用一台目标搜索雷达,雷达对于...
准确率、召回率、F1值、ROC、AUC的比较
基础概念及计算:F值是P和 R的调和平均:1/F1=1/2*(1/P+1/R) => F1 = (2*P*R)/(P+R);加权调和平均:F(β)=[(1+β^2)*P*R] / [(β^2*P)+R] β=1,退化为F1,β>1,R更重要;β<1,P更重要;ROC曲线与AUC:ROC:横坐标:FPR(假正率)    纵坐标:TPR(真正率),这两个都是值分...
风电功率预测准确性分析
风电并网容量迅猛增加,风电与系统之间的联系越来越密切,必须考虑风能的波动 性和间歇性引起风电出力的变化给电力系统电能质量、安全稳定运行和经济效益带来的不利影 响。因此,进行风电功率预测具有重要的现实意义。首先对风速和风电出力预测的分类和方法 进行了探讨,然后简要综述了国内外风功率预测技术的研究现状,最后针对我国现阶段风电功 率预测产生误差的原因进行了阐述并提出了建议
matlab概率神经网络分类器
matlab的概率神经网络分类器,可以作为参考,能够看明白最好
机器学习:为什么需要验证集?
在机器学习中,开发模型时总需要调节模型的参数,比如改变权重、选择层数或每层的大小,这个调节过程需要在训练的模型上通过验证集数据的表现来提供一个反馈信号,去修改网络模型及参数。这就是验证集的作用,这也会造成验证集的信息泄露,反馈的越多,信息泄露的越多,即模型就更清楚的认识验证集,最终会造成模型在验证集上过拟合,这时就需要一个对于模型完全陌生的数据集-----测试集来衡量模型的好坏。 ...
相关热词 c#入门推荐书 c# 解码海康数据流 c# xml的遍历循环 c# 取 查看源码没有的 c#解决高并发 委托 c#日期转化为字符串 c# 显示问号 c# 字典对象池 c#5.0 安装程序 c# 分页算法