用梯度下降算法极大化对数似然函数来估计参数

Question

若用梯度下降算法极大化对数似然函数来估计参数，学习率（步长）为a，请给出参数的更新迭代公式。

Answer 1

引自免费微信小程序：皆我百晓生

在最大化逻辑回归的对数似然函数时，我们首先定义对数似然函数 (L(B))，然后通过梯度上升法找到使 (L(B)) 最大的参数 (B)。根据给定的对数似然函数:

[ L(B) = \frac{1}{n} \sum_{i=1}^{n} [y_i B^T x_i - \ln(1 + e^{B^T x_i})] ]

梯度上升法的目的是增加 (L(B))，因此我们需要计算 (L(B)) 关于 (B) 的梯度，并沿这个方向更新 (B)。梯度表示了函数增长最快的方向。对于 (L(B))，其关于 (B) 的梯度是每个分量的偏导数构成的向量，即：

[ \nabla_B L(B) = \frac{1}{n} \sum_{i=1}^{n} [y_i x_i - \frac{e^{B^T x_i}}{1 + e^{B^T x_i}} x_i] ]

接下来，我们可以使用梯度上升法的更新规则进行迭代，其中 (a) 是学习率（步长）：

[ B_{t+1} = B_t + a \cdot \nabla_B L(B_t) ]

将梯度表达式代入上述迭代公式，得到具体的参数更新迭代公式：

[ B_{t+1} = B_t + a \cdot \left(\frac{1}{n} \sum_{i=1}^{n} [y_i x_i - \frac{e^{B_t^T x_i}}{1 + e^{B_t^T x_i}} x_i]\right) ]

下面是 Python 代码实现这一过程：

import numpy as np

def log_likelihood_gradient(B, X, y):
    # 计算对数似然函数的梯度
    exp_scores = np.exp(np.dot(X, B))
    probabilities = exp_scores / (1 + exp_scores)
    gradient = np.dot((y - probabilities).T, X) / len(y)
    return gradient

def gradient_ascent(B_init, X, y, learning_rate, num_iterations):
    B = B_init
    for _ in range(num_iterations):
        gradient = log_likelihood_gradient(B, X, y)
        B += learning_rate * gradient
    return B

# 假设你已经有了数据 X 和标签 y，以及初始参数 B_init，学习率 learning_rate 和迭代次数 num_iterations
B_init = np.zeros(X.shape[1])  # 初始化参数
learning_rate = 0.01  # 学习率
num_iterations = 1000  # 迭代次数
B_optimized = gradient_ascent(B_init, X, y, learning_rate, num_iterations)

print("Optimized parameters: ", B_optimized)

这段代码定义了一个 gradient_ascent 函数，用于执行梯度上升过程并返回优化后的参数。你需要提供训练数据矩阵 X、标签向量 y、初始参数 B_init、学习率 learning_rate 和迭代次数 num_iterations。