箱线图四分位检测异常值

箱线图四分位检测异常值（Box Plot Diagram to Identify Outliers），箱型图提供了识别异常值的一个标准，即异常值通常被定义为 小于QL-1.5IQR 或大于 QU+1.5IQR 的值。

箱线图识别异常值

离群值是数据序列中的一个极端值，它要么很小，要么很大，因此影响数据序列的整体观测值。异常值也被称为极端值，因为它们位于数据序列的两端。由于其极端值很高或很低，可能影响整体观测，因此应从数据序列中丢弃。

箱线图也称为盒形图，是一种典型的四分位数和四分位数之间的图解法，有助于定义上限和下限，超过上限和下限的任何数据都将被视为异常值。该图表的目的是识别异常值，并在进行进一步观察之前将其从数据系列中剔除，以便研究得出的结论能够给出更准确的结果，而不受任何极端或异常值的影响。

算法

数列的四分位中：

• 四分位距 IQR = Q3 – Q1
• 下界 Lower Limit = Q1 – 1.5 IQR.
• 上界 Upper Limit = Q3 + 1.5 IQR

下界 Lower Limit 和 上界 Upper Limit 之外的数据为异常值。

原理

也就是说，如果数据点低于 Q1–1.5×IQR 或高于 Q3+1.5×IQR，则认为它离中心值太远而不合理。也许你在测量的时候碰了秤，或者你的实验室搭档是个白痴，你不应该让他碰任何设备。谁知道呢？但不管他们的原因是什么，离群值是那些似乎不“适合”的点。

为什么是异常值框宽度的1.5倍？为什么这个特定的值会标记“可接受”和“不可接受”值之间的差异？因为，当 John Tukey 在1977年发明了显示这些值的盒须图时，他选择了 1.5×IQR 作为异常值的去标记线。这很有效，所以我们一直在使用这个值。如果你深入研究统计学，你会发现，对于钟形曲线形状的数据来说，这种合理性度量意味着通常只有大约百分之一的数据是异常值。

代码实现

用 Python 的 Pandas 库：

import pandas as pd

# 检测到异常值置为 nan
def box_plot_outliers(s):
    q1, q3 = s.quantile(.25), s.quantile(.75)
    iqr = q3 - q1
    low, up = q1 - 1.5*iqr, q3 + 1.5*iqr
    outlier = s.mask((s<low) | (s>up))
    return outlier

参见详细案例：Python 四分位箱线图异常值检测

参考

• https://www.purplemath.com/modules/boxwhisk3.htm
• https://www.whatissixsigma.net/box-plot-diagram-to-identify-outliers/
• https://www.zhihu.com/question/36172806

相关内容

• pandas / Python 四分位箱线图异常值检测 2021-03-03 13:34:56