2 fghsakyu fghsakyu 于 2014.10.21 15:04 提问

机器学习中关于互信息和信息增益的关系

最近看 数学之美 上面 互信息 的公式是
I(X;Y)=H(X)-H(X|Y)
又看到 统计学习方法 上有一个 信息增益 的公式
G(D,A)=H(D)-H(D|A)
这不是一样吗?难道互信息就是信息增益?
还是说G(D,A)里面的这个D指的是系统总的熵?而互信息是两个变量的关系?
想不明白,大神请明示。

1个回答

lvapple402
lvapple402   2016.04.26 20:49

在决策树里面那个信息增益就是互信息

Csdn user default icon
上传中...
上传图片
插入图片
准确详细的回答,更有利于被提问者采纳,从而获得C币。复制、灌水、广告等回答会被删除,是时候展现真正的技术了!