关于南瓜书中LDA线性判别分析推导的疑问

Question

关于南瓜书中LDA线性判别分析推导的疑问

西瓜书P63中给出了LDA多分类问题的最优化目标

南瓜书中将其转化为条件极值：

然后定义了对应的拉格朗日函数

到这里还是能理解的，但是南瓜书上又重新定义了一个拉格朗日函数：

第一个拉格朗日函数是根据定义得出的，但是第二个拉格朗日函数是怎么得到的？看书上写的两个方程化简的结果也不一样啊？我自己尝试理解这个式子的想法是A^TB的迹是A和B对应元素相乘后相加，Lambda是对角阵，I是单位阵，取迹之后就是lambdai与W^T*S*W-I的对应对角线元素相乘求和，所以上式的约束就是W^T*S*W的对角线元素均为1？请问我的这个理解是哪里出错了呢？

Answer 1

以下回复参考：皆我百晓生、券券喵儿等免费微信小程序作答:

关于你的问题，我会尝试逐一解答。

1. 拉格朗日函数的推导：

   • 拉格朗日函数是在处理约束优化问题时常用的工具。在这里，目的是要最小化一个函数，同时满足某个约束条件。通过引入拉格朗日乘子，可以将约束条件转化为无约束的优化问题。
   • 对于你提供的拉格朗日函数 L(W,A)，它是通过考虑约束条件 tr(WTSW) = 1 并对其取拉格朗日变换得到的。这个函数中，A 是由拉格朗日乘子构成的对角矩阵。
   • 你的理解基本正确，但需要注意的是，在这里我们并不直接约束 W^T*S*W 的对角线元素为1，而是约束其迹（即对角线元素之和）为1。这样做的目的是简化优化问题。

2. 关于广义特征值问题和特征向量的选择：

   • 在LDA中，确实会转化为广义特征值问题。这里的广义特征值问题涉及到矩阵 S_w 和 S_b。
   • 由于存在约束 tr(WTSW) = 1，为了使目标函数 tr(WTS_bW) 最大化，应该选择对应于最大广义特征值的特征向量。这是因为最大化目标函数等同于最大化广义特征值。
   • 如果某个 wi^T*S*wi 的结果小于0，这在实际应用中通常不会发生，因为通常假设样本的协方差矩阵是正定的，这意味着其特征值都是非负的。所以不会出现你提到的问题。但如果真的出现了这样的情况，那么理论上确实需要进一步检查数据的特性和模型的假设是否匹配。

希望这些解释能帮助你更好地理解南瓜书中的LDA线性判别分析的推导。如果有其他疑问，欢迎继续提问。