三行三列海森矩阵一阶主子式如何判定局部极值？

Question

在使用三行三列海森矩阵判定多元函数局部极值时，如何通过一阶主子式准确判断临界点的极值性质？常见问题在于：仅依据一阶主子式（即左上角1×1和2×2子式）的符号是否正定来判断极值，而忽略完整海森矩阵的正定性要求。实际上，三元函数需考察所有顺序主子式的符号：若一阶、二阶、三阶主子式均大于零，则为局部极小值；若符号交替（负、正、负），则为局部极大值。一阶主子式单独无法充分判定，请问实际应用中应如何结合各阶主子式进行综合判断？

Answer 1

1. 从基础概念理解海森矩阵与极值判定

在多元函数优化问题中，临界点的极值性质判定是核心环节。设三元函数 \( f(x, y, z) \) 在某点处一阶偏导数为零，该点即为临界点。为进一步判断其是否为局部极小值、极大值或鞍点，需引入海森矩阵（Hessian Matrix）：

\[ H = \begin{bmatrix} f_{xx} & f_{xy} & f_{xz} \\ f_{yx} & f_{yy} & f_{yz} \\ f_{zx} & f_{zy} & f_{zz} \end{bmatrix} \]

海森矩阵是对称矩阵（假设二阶混合偏导连续），其正定性决定了临界点的性质。而判断正定性的标准方法之一是通过顺序主子式（leading principal minors）的符号进行综合分析。

2. 顺序主子式的定义与层级结构

对于一个 \(3 \times 3\) 的海森矩阵，其顺序主子式分为三个层级：

1. 一阶主子式：左上角 \(1 \times 1\) 子式，即 \( \Delta_1 = f_{xx} \)
2. 二阶主子式：左上角 \(2 \times 2\) 子式行列式，即 \[ \Delta_2 = \begin{vmatrix} f_{xx} & f_{xy} \\ f_{yx} & f_{yy} \end{vmatrix} = f_{xx}f_{yy} - (f_{xy})^2 \]
3. 三阶主子式：整个海森矩阵的行列式，即 \( \Delta_3 = \det(H) \)

主子式阶数	表达式	物理意义
Δ₁	fₓₓ	x方向上的凹凸性初判
Δ₂	fₓₓfᵧᵧ − (fₓᵧ)²	x-y平面内的联合曲率
Δ₃	det(H)	三维空间整体正定性指标
Δ₁ > 0	成立	仅说明x方向可能下凸
Δ₁ > 0, Δ₂ > 0	成立	前两维正定，仍不足以保证三维正定
Δ₁ > 0, Δ₂ > 0, Δ₃ > 0	成立	充分条件：局部极小值
Δ₁ < 0, Δ₂ > 0, Δ₃ < 0	成立	交替符号：局部极大值
符号不满足上述模式	任意	可能是鞍点或无法判定
Δ₂ = 0	成立	退化情形，需更高阶检验
Δ₃ = 0	成立	非严格极值，可能平坦区域

3. 常见误区与技术陷阱剖析

在实际工程应用中，尤其是在机器学习模型训练、参数调优和损失函数分析过程中，开发者常犯以下错误：

• 误将一阶主子式作为主要依据：认为只要 \( f_{xx} > 0 \)，就断言存在极小值，忽略了其他变量间的耦合影响。
• 仅检查前两个主子式：当 \( \Delta_1 > 0, \Delta_2 > 0 \) 时便草率结论为“局部极小”，但若 \( \Delta_3 < 0 \)，则整体非正定，实为鞍点。
• 忽视对称性与连续性前提：海森矩阵的有效性依赖于函数二阶可微且混合偏导相等，否则判定失效。

# Python 示例：计算三元函数海森矩阵及其顺序主子式
import sympy as sp

x, y, z = sp.symbols('x y z')
f = x**2 + 2*y**2 + 3*z**2 + 2*x*y - 4*x*z  # 示例函数

# 计算二阶偏导构建海森矩阵
H = sp.hessian(f, [x, y, z])
print("Hessian Matrix:")
sp.pprint(H)

# 提取顺序主子式
delta1 = H[0,0]  # f_xx
delta2 = H[:2,:2].det()
delta3 = H.det()

print(f"Δ₁ = {delta1}")
print(f"Δ₂ = {delta2}")
print(f"Δ₃ = {delta3}")

# 判断极值类型
if delta1 > 0 and delta2 > 0 and delta3 > 0:
    print("→ 局部极小值")
elif delta1 < 0 and delta2 > 0 and delta3 < 0:
    print("→ 局部极大值")
else:
    print("→ 鞍点或无法判定")

4. 综合判断流程与决策逻辑图解

为了系统化地实现极值判定，建议采用如下流程图所示的结构化判断路径：

graph TD A[确定临界点] --> B[构造海森矩阵 H] B --> C[计算 Δ₁, Δ₂, Δ₃] C --> D{Δ₁ > 0?} D -- 否 --> E{Δ₁ < 0?} E -- 否 --> F[非极值或需高阶分析] E -- 是 --> G{Δ₂ > 0?} G -- 否 --> F G -- 是 --> H{Δ₃ < 0?} H -- 是 --> I[局部极大值] H -- 否 --> F D -- 是 --> J{Δ₂ > 0?} J -- 否 --> F J -- 是 --> K{Δ₃ > 0?} K -- 是 --> L[局部极小值] K -- 否 --> F

5. 实际应用场景中的扩展思考

在深度神经网络训练中，损失函数通常为高维非凸函数，但在局部邻域内仍可用海森矩阵近似曲率特性。此时，完整主子式分析有助于识别：

• 是否陷入平坦最小值（flat minimum），表现为多个主子式接近零；
• 是否存在梯度欺骗方向，即某些主子式变号导致优化路径震荡；
• 可用于设计Hessian-aware优化器，如K-FAC（Kronecker-Factored Approximate Curvature）中对块对角Hessian的分解处理。

此外，在机器人轨迹规划、金融衍生品定价模型校准等场景中，精确的极值判定直接影响系统稳定性与收敛效率。