最近看 数学之美 上面 互信息 的公式是
I(X;Y)=H(X)-H(X|Y)
又看到 统计学习方法 上有一个 信息增益 的公式
G(D,A)=H(D)-H(D|A)
这不是一样吗？难道互信息就是信息增益？
还是说G(D,A)里面的这个D指的是系统总的熵？而互信息是两个变量的关系？
想不明白，大神请明示。
机器学习中关于互信息和信息增益的关系
- 写回答
- 好问题 0 提建议
- 追加酬金
- 关注问题
分享- 邀请回答
-
1条回答
- 2022-02-04 17:06回答 1 已采纳 推断是根据已知随机变量求未知随机变量条件分布的过程，例如我从一段语音推断对应的文字。预测是推断的一种，其已知变量、未知变量具有因果关系，分类、回归都属于预测问题。
- 2023-02-08 21:05回答 3 已采纳 估计集是机器学习中用来估计模型参数的样本集，其中每个样本都有一个与之相关联的标签。估计集与其他样本集的关系是，估计集用来估计模型参数，而其他样本集用来测试模型的性能好坏。
- 2022-05-21 15:34回答 1 已采纳 好家伙，你这特征数量真心不少。KNN的核心是计算距离，你这个特征这么多，计算的复杂度就会很高，不知道你用的距离算法，也不知道你CPU能不能受的住。 减少特征的数量，比如颜色特征，看看能
- 2020-06-11 17:37Ai研究僧的博客 在机器学习和深度学习中，经常会用到信息熵（entropy）这个概念，可以理解为熵表示的是随机变量不确定度的衡量。例如概率0.5比概率0.3的不确定度要高。 原理 信息熵 设X是一个取值有限的离散随机变量，其概率分布...
- 2020-02-22 14:04回答 2 已采纳 fit函数里面的while循环里的第一个if语句是想判断当前求得的self.w的精度，如果self.w和b的改变小于precision即认为精度达到要求，退出循环！ 而第一次while循环时明显
- 2022-10-08 10:42回答 1 已采纳 机器学习是一个更大的概念，只要数据能够根据输入进行调整都叫机器学习而深度学习是一个算法它们的关系类似“时间管理”和“番茄工作法”，“番茄工作法”是时间管理的其中一种方法深度学习是机器学习的一种实现手段
- 2023-02-08 22:55回答 4 已采纳 已知样本和未知样本是机器学习中的重要概念。该回答引用ChatGPT已知样本是指我们在训练模型时使用的数据，也称为训练数据。在机器学习中，通过分析已知样本，来构建和训练模型，从而实现对未知样本的预测和分
- 2023-03-15 10:00LeoBoML的博客 抛一枚有均匀正反面的硬币，和掷一个均匀六面的骰子，哪一种试验的不确定性更强一点呢？粗略地看，我们感觉抛硬币这个试验的不确定性会更少一点，因为硬币毕竟仅有2个结果，而骰子有6个结果，但是对于这样一个直觉的...
- 2019-09-11 08:50回答 2 已采纳 ``` # 1. # 交叉验证进行最优模型选择 from sklearn.model_selection import cross_val_score model = RandomFore
- 2022-09-15 19:25回答 1 已采纳 课程： 台大林轩田：《机器学习基石》、《机器学习技法》 台大李宏毅：《深度学习》 李沐：《动手学深度学习》 书籍： 李航：《统计学习方法》（简称：蓝皮书） 周志华：《机器学习》（简称：西瓜书
- 2023-02-08 23:54回答 3 已采纳 如果你想学习人工智能，初学者应该先从数据库方面入手，因为数据库是人工智能的基础。数据库是保存数据的重要工具，它可以帮助人们更好地整理、管理和分析数据，从而有效地为人工智能应用程序提供所需的信息。另外，
- 2023-06-29 20:23木悠铎753Q的博客 证明：信息增益（互信息）大于等于0
- 2022-02-07 01:05回答 1 已采纳 直接加载模型然后对新数据集进行预测啊，结果就是0或者1，然后把结果按照之前训练的数据集格式写入一个新的csv，这就是相当于打上标签了，但是这个标签不一定是全部对的，除非你能保证你的模型推理结果一定是正
- 2021-04-14 18:52有情感的AI~wink的博客 机器学习与模式识别——熵与信息增益 一、熵的概念 熵也叫信息熵，可以表征随机变量分布的混乱程度，分布越混乱，则熵越大，简易的解释就是：在一个随机事件中，某个事件发生的不确定度越大，熵也就越大，事件发生的...
- 2018-10-29 21:44一个处女座的程序猿的博客 ML与Information：信息论(度量模型性能)在机器学习中的简介(信息熵(不确定度)、互信息(衡量相关性)、相对熵即KL散度(两个分布相似性))、主要内容、关系、常用方法、案例应用 目录 信息论Information在机器学习中的...
- 没有解决我的问题, 去提问
