3σ准则与箱形图检查异常值的原理和区别

Question

提问：3σ准则与箱形图检查异常值的原理和区别，求解答₍˄·͈༝·͈˄*₎◞ ̑̑

Answer 1

阿里嘎多学长整理AIGC生成，因移动端显示问题导致当前答案未能完全显示，请使用PC端查看更加详细的解答过程

3σ准则与箱形图检查异常值的原理和区别

3σ准则

3σ准则是指在一个正态分布的数据集中，超过3个标准差（σ）以上或以下的值被认为是异常值。这个准则是基于正态分布的假设，即数据服从正态分布。3σ准则的优点是简单易行，但它也存在一些缺点，如：

• 假设数据服从正态分布，这可能不总是正确。
• 3σ准则不能很好地处理非正态分布的数据。

箱形图

箱形图（Box Plot）是一种可视化数据的方法，用于显示数据的分布和异常值。箱形图将数据分为四个部分：

• Q1（25%分位数）：第一个四分位数。
• Q2（50%分位数）：第二个四分位数，也称为中位数。
• Q3（75%分位数）：第三个四分位数。
• Whisker（ whisker）：表示数据的范围，通常是Q1到Q3之间的范围。

箱形图可以很好地显示数据的分布和异常值，但它需要更多的数据来计算四分位数和 whisker。

区别

• 3σ准则是基于正态分布的假设，而箱形图不需要这个假设。
• 3σ准则只能检查数据的极端值，而箱形图可以检查数据的整体分布和异常值。

结论

3σ准则和箱形图都是检查异常值的方法，但它们有不同的原理和应用场景。3σ准则适用于正态分布的数据，而箱形图适用于非正态分布的数据。选择哪种方法取决于数据的特点和研究目的。

Python实现

Python中可以使用 scipy 库来实现箱形图：

import numpy as np
import matplotlib.pyplot as plt
from scipy import stats

# 生成随机数据
np.random.seed(0)
data = np.random.normal(0, 1, 1000)

# 计算四分位数和 whisker
q1, q3 = np.percentile(data, [25, 75])
whisker = [q1 - 1.5 * (q3 - q1), q3 + 1.5 * (q3 - q1)]

# 绘制箱形图
plt.boxplot(data, vert=False)
plt.plot([q1, q1], [0, 1], 'k-')
plt.plot([q3, q3], [0, 1], 'k-')
plt.plot([whisker[0], whisker[0]], [0, 1], 'k-')
plt.plot([whisker[1], whisker[1]], [0, 1], 'k-')
plt.show()

这个示例代码生成了一组随机数据，然后计算四分位数和 whisker，最后绘制箱形图。