AB测试中如何确定样本量与显著性水平？

Question

在进行AB测试时，如何科学地确定样本量与显著性水平，以确保实验结果具有统计效力？

Answer 1

一、AB测试中的样本量与显著性水平：基础概念

AB测试是评估产品功能、界面优化或营销策略效果的重要手段。为了确保实验结果的可靠性，必须科学地确定样本量和显著性水平。

• 显著性水平（α）：通常设为0.05，表示在原假设为真时，错误拒绝原假设的概率。
• 统计效力（1 - β）：通常设为0.8或0.9，表示在备择假设为真时，正确拒绝原假设的能力。
• 效应量（Effect Size）：实验组与对照组之间差异的大小，是影响样本量的核心因素。

二、样本量计算公式与关键参数

样本量计算通常基于Z检验或T检验的公式，适用于比例或均值的比较。

参数	说明	典型值
α	显著性水平	0.05
β	II类错误概率	0.2（效力0.8）
p	基线转化率	0.1（例如）
d	最小可检测效应（MDE）	0.02（2%的提升）

比例类AB测试的样本量计算公式如下：

from statsmodels.stats.power import zt_ind_solve_power

# 参数设置
p1 = 0.1
p2 = 0.12
effect_size = (p2 - p1) / ((p1 * (1 - p1) + p2 * (1 - p2)) / 2) ** 0.5

# 计算每组样本量
n = zt_ind_solve_power(effect_size=effect_size, nobs1=None, alpha=0.05, power=0.8, ratio=1, alternative='two-sided')
print(f"每组所需样本量: {int(n)}")
    

三、AB测试流程与关键节点

科学地设计AB测试流程有助于提升实验效率和结果可信度。以下为典型流程的mermaid图示：

graph TD
            A[确定实验目标] --> B[定义关键指标]
            B --> C[设定显著性水平与效力]
            C --> D[估计效应量]
            D --> E[计算所需样本量]
            E --> F[分配流量并运行实验]
            F --> G[收集数据]
            G --> H[进行统计检验]
            H --> I{结果是否显著?}
            I -->|是| J[上线新方案]
            I -->|否| K[分析失败原因/重新设计]

四、进阶考虑：多重检验与样本量调整

在多变量或多组测试中，应考虑多重比较问题。常见的调整方法包括：

• Bonferroni校正：将显著性水平除以测试次数。
• Benjamini-Hochberg程序：控制错误发现率（FDR），适用于大量假设检验。

此外，还需考虑以下因素对样本量的影响：

1. 用户行为的季节性变化
2. 实验周期与流量波动
3. 样本不均衡（如A/B分组比例不一致）
4. 实验的长期影响（如滞后效应）
5. 实验干扰（如多个实验同时进行）