已知若干向量x,y，x∈m，y∈n，m > n, Ax=y，如何求解满足最小二乘解的矩阵A(n×m)？

Question

已知若干向量x,y，x∈m，y∈n，m > n, Ax=y，如何求解满足最小二乘解的矩阵A(n×m)？

Answer 1

将 $x$ 和 $y$ 分别写成矩阵的形式，即 $X = [x_1, x_2, \dots, x_m]$ 和 $Y = [y_1, y_2, \dots, y_n]$。

设 $A = [a_1, a_2, \dots, a_m]$，其中 $a_i$ 是 $A$ 的第 $i$ 列。

求解最小二乘解的方法是通过最小化 $||AX - Y||_2$ 的平方，其中 $||\cdot||_2$ 表示二范数。

由于 $A$ 的每一列都是未知的，所以我们希望对于给定的 $X$ 和 $Y$，最小化 $||AX - Y||_2$ 的平方。因此，我们需要求解以下最小化问题：

$$\min_{A} ||AX - Y||_2^2$$

根据二次函数的最小值性质，我们可以得到以下结论：
$$\min_{A} ||AX - Y||2^2 = \min{A} (AX - Y)^T(AX - Y)$$

$$ = \min_{A} (X^TA^T - Y^T)(AX - Y)$$

$$ = \min_{A} X^TA^TAX - X^TA^TY - Y^TAX + Y^TY$$

由于 $A$ 是未知的，我们希望对于给定的 $X$ 和 $Y$，求解以下最小化问题：
$$\min_{A} X^TA^TAX - 2X^TA^TY + Y^TY$$

根据高等数学的知识，我们可以知道，对于任意的矩阵 $A$，有 $A^TA$ 是对称正定矩阵，因此有以下性质：

$$x^TA^TAx \ge 0$$

$$x^TA^TAx = 0 \Leftrightarrow x = 0$$

所以，我们可以得到：

$$\min_{A} X^TA^TAX - 2X^TA^TY + Y^TY = Y^TY - \max_{A} 2X^TA^TY$$

而对于最大化 $2X^TA^TY$ 的问题，我们可以使用拉格朗日乘数法求解。设 $\lambda$ 为拉格朗日乘数，则有：
$$L(A, \lambda) = X^TA^TAX - 2X^TA^TY + Y^TY - \lambda(X^TX - X^TY - Y^TX + Y^TY)$$

对 $L(A, \lambda)$ 求导，得到：
$$\frac{\partial L}{\partial A} = 2X^TAX - 2X^TY$$

设 $\frac{\partial L}{\partial A} = 0$，则有：
$$2X^TAX - 2X^TY = 0$$

$$X^TAX = X^TY$$

$$X^TA = Y^T$$

根据高等数学的知识，我们知道如果存在矩阵 $A$ 满足 $X^TA = Y^T$，则有：
$$A = (X^TX)^{-1}X^TY$$

所以，矩阵 $A$ 的最小二乘解就是：

$$A = (X^TX)^{-1}X^TY$$