深度学习中的向量演算和MLE，求方法

Question

1、假设x是一个三维向量f(x),已知在ABC三个向量中的范数，要怎么求f/x的微分
2、已知带有参数a的分布p(x|a),假设有一个集合D=｛x1,x2...xn},要怎么推导对数似然函数L（a:D)并算出a的最大似然估计（MLE）

Answer 1

1、首先要了解向量的偏导数，对于三维向量x=(x1,x2,x3)，f(x)的偏导数为(df/dx1, df/dx2, df/dx3)。对于范数而言，范数是向量每一维的平方和的开根号，即||x||=sqrt(x1^2+x2^2+x3^2)。因此要求范数的微分，可以用链式法则将向量的每一维的微分相加。

2、对数似然函数L(a:D)表示在已知参数a的情况下，样本数据集D的似然函数的对数。它可以用下面的公式表示: L(a:D) = ∑log(p(x|a)) (x属于D)。对L(a:D)求导并令其等于0，可以得到a的最大似然估计(MLE)。