Wirtinger导数如何用于复变函数求导？

Question

在复变函数的梯度计算中，为何常使用Wirtinger导数而非传统复导数？当函数不可解析（如损失函数依赖于复变量及其共轭）时，传统复导数无法定义。Wirtinger导数通过将复变量 $ z $ 和其共轭 $ \bar{z} $ 视为独立变量，提供了一种形式化的偏微分框架。例如，在复神经网络或信号处理中，标量损失对 $ z $ 的梯度常定义为 $ \frac{\partial L}{\partial \bar{z}} $。如何理解这一操作的数学依据？为何优化算法中采用 $ \bar{z} $-导数更新参数？这与实值函数梯度有何对应关系？

Answer 1

一、复变函数梯度计算中的Wirtinger导数：从基础概念到工程实践

1. 传统复导数的局限性：为何不能直接用于优化？

在经典复分析中，一个复函数 \( f(z) \) 在某点可导（即解析）需满足Cauchy-Riemann方程。这意味着函数必须仅依赖于 \( z \)，而不能显式地依赖其共轭 \( \bar{z} \)。然而，在机器学习和信号处理中，损失函数通常定义为：

\[ L(z, \bar{z}) = |z|^2 = z \bar{z} \]

这类函数显然不满足解析条件，因此传统复导数无法定义。这导致我们无法使用标准复微分工具进行梯度下降。

2. Wirtinger导数的基本定义与形式化框架

Wirtinger导数引入了一组形式化的偏微分算子，将 \( z \) 和 \( \bar{z} \) 视为独立变量：

• \( \frac{\partial}{\partial z} = \frac{1}{2}\left( \frac{\partial}{\partial x} - i\frac{\partial}{\partial y} \right) \)
• \( \frac{\partial}{\partial \bar{z}} = \frac{1}{2}\left( \frac{\partial}{\partial x} + i\frac{\partial}{\partial y} \right) \)

这种构造允许我们在非解析函数上定义“类梯度”结构，即使函数不可微也能进行方向导数分析。

3. 数学依据：Wirtinger导数与实值梯度的等价性

变量表示	实部与虚部分解	Wirtinger导数	对应实梯度
\( z = x + iy \)	\( L = f(x,y) \)	\( \frac{\partial L}{\partial \bar{z}} \)	\( \nabla_{x,y} L \)
\( |z|^2 \)	\( x^2 + y^2 \)	\( \frac{1}{2}z \)	\( (2x, 2y) \)
\( \text{Re}(z) \)	\( x \)	\( \frac{1}{2} \)	\( (1, 0) \)
\( \text{Im}(z) \)	\( y \)	\( \frac{i}{2} \)	\( (0, 1) \)
\( |z - a|^2 \)	\( (x-a_x)^2 + (y-a_y)^2 \)	\( \frac{1}{2}(z - a) \)	\( (2(x-a_x), 2(y-a_y)) \)
\( \|Az\|^2 \)	二次型展开	\( A^H A z \)	对称矩阵梯度
\( \log|z| \)	\( \frac{1}{2}\log(x^2+y^2) \)	\( \frac{1}{2z} \)	\( \left(\frac{x}{x^2+y^2}, \frac{y}{x^2+y^2}\right) \)
\( e^{i\theta}z \)	旋转操作	\( e^{i\theta} \)	保持模不变
\( |z|^4 \)	\( (x^2+y^2)^2 \)	\( 2|z|^2 z \)	高阶非线性梯度
\( \arg(z) \)	\( \tan^{-1}(y/x) \)	\( \frac{i}{2z} \)	角度敏感项

4. 为什么优化算法采用 \( \frac{\partial L}{\partial \bar{z}} \) 更新参数？

考虑梯度下降更新规则：

\[ z_{k+1} = z_k - \eta \cdot \frac{\partial L}{\partial \bar{z}} \]

该更新方向等价于在实空间中沿负梯度方向移动。具体推导如下：

1. 设 \( z = x + iy \)，则 \( L(z, \bar{z}) = f(x, y) \)
2. 实梯度为 \( \nabla f = \left( \frac{\partial f}{\partial x}, \frac{\partial f}{\partial y} \right) \)
3. Wirtinger导数给出：
   \( \frac{\partial L}{\partial \bar{z}} = \frac{1}{2} \left( \frac{\partial f}{\partial x} + i \frac{\partial f}{\partial y} \right) \)
4. 复梯度更新：
   \( \Delta z = -\eta \cdot \frac{\partial L}{\partial \bar{z}} \Rightarrow \Delta x + i\Delta y = -\frac{\eta}{2} (\partial_x f + i \partial_y f) \)
5. 取实部与虚部对应，得到：
   \( \Delta x = -\frac{\eta}{2} \partial_x f,\quad \Delta y = -\frac{\eta}{2} \partial_y f \)
6. 这正是实空间梯度下降的一半步长版本（常数因子不影响收敛方向）

5. 工程应用场景：复神经网络与信号处理

在以下典型场景中，Wirtinger导数被广泛使用：

• 复数域CNN：处理雷达、MRI或通信信号时，卷积核为复数，激活函数如modReLU依赖 \( |z| \)
• 波束成形优化：阵列信号加权系数为复数，目标函数含 \( w^H R w \) 形式
• 相位恢复问题：损失函数 \( L = |\ |Ax| - b\ |^2 \) 显式依赖 \( x \) 和 \( \bar{x} \)
• 量子机器学习：态向量为复数，测量概率涉及 \( |\langle \psi|\phi \rangle|^2 \)

6. 代码示例：PyTorch中的复数梯度实现

import torch

# 定义复变量
z = torch.complex(torch.tensor(1.0, requires_grad=True),
                  torch.tensor(2.0, requires_grad=True))

# 构造非解析损失函数
loss = torch.abs(z)**2  # L = |z|^2

# 自动求导
loss.backward()

# 输出梯度
print("dz/dL:", z.grad)  # 实际返回的是 ∂L/∂z̄ 的共轭（PyTorch约定）

7. 流程图：Wirtinger导数在优化流程中的角色

graph TD A[复变量 z ∈ ℂⁿ] --> B[构建损失函数 L(z, z̄)] B --> C{是否解析？} C -- 是 --> D[使用传统复导数] C -- 否 --> E[应用Wirtinger导数框架] E --> F[计算 ∂L/∂z̄] F --> G[执行梯度更新: z ← z - η ∂L/∂z̄] G --> H[检查收敛] H --> I{收敛？} I -- 否 --> B I -- 是 --> J[输出最优复参数]

8. 深层理解：几何解释与切空间分解

从微分几何角度看，复平面 \( \mathbb{C} \) 可视为二维实流形。Wirtinger导数本质上是对切空间的分解：

• \( \frac{\partial}{\partial z} \) 对应全纯方向（holomorphic tangent space）
• \( \frac{\partial}{\partial \bar{z}} \) 对应反全纯方向（antiholomorphic）

当函数非解析时，其变化主要由 \( \bar{z} \)-方向驱动，因此梯度自然落在该子空间中。这也解释了为何 \( \frac{\partial L}{\partial \bar{z}} \) 成为自然的搜索方向。