pandas 插值填充

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

Series 和 DataFrame 对象都有interpolate()方法，默认情况下，该函数在缺失值处执行线性插值。这个方法是利用数学方法来估计缺失点的值，对于较大的数据非常有用。

插值法

插值就是在已知数据之间计算估计值的过程，是一种实用的数值方法，是函数逼近的重要方法。在信号处理和图形分析中，插值运算的应用较为广泛。

插值是离散函数逼近的重要方法，利用它可通过函数在有限个点处的取值状况，估算出函数在其他点处的近似值。

插值法是根据已知数据点来预测未知数据点，假如你有n个已知条件，就可以求一个n-1次的插值函数P（x），使得P（x）接近未知原函数f（x），并由插值函数预测出你需要的未知点值。而又n个条件求n-1次P（x）的过程，实际上就是求n元一次线性方程组。

插值方式

以下是一个非常简单的示例，其中一个值是缺失的，我们对它进行差值：

s = pd.Series([0, 1, np.nan, 3])
s.interpolate()
'''
0    0.0
1    1.0
2    2.0
3    3.0
dtype: float64
'''

默认linear 方法，会认为是一条直线。

计算方法

默认 method=‘linear’ 如果你的数据增长速率越来越快，可以选择 method='quadratic' 二次插值。如果数据集呈现出累计分布的样子，推荐选择 method='pchip'。如果需要填补缺省值，以平滑绘图为目标，推荐选择 method='akima'。method='akima' 和 method = ‘pchip’，需要你的环境中安装了 Scipy 库。除此之外，method='barycentric' 和 method='pchip' 同样也需要 Scipy 才能使用。

使用插值方法，可为：

• linear：线性，忽略索引，并将值等距地对待，这是MultiIndexes支持的唯一方法
• time：时间，以插值给定的时间间隔长度处理每日或更高粒度的数据
• index, values：索引，值，使用索引的实际数值
• pad：使用现有值填写NaN。
• ‘nearest’, ‘zero’, ‘slinear’, ‘quadratic’, ‘cubic’, ‘spline’, ‘barycentric’, ‘polynomial’：传递给 scipy.interpolate.interp1d，这些方法使用索引的数值。 ‘polynomial’ 和 ‘spline’ 都要求您还指定一个顺序(int)，例如 df.interpolate(method='polynomial'，order=5)
  • nearest：最近
  • zero：零
  • slinear：线性
  • quadratic：二次方
  • cubic：立方
  • spline：花键，样条插值
  • barycentric：重心插值
  • polynomial：多项式
• ‘krogh’, ‘piecewise_polynomial’, ‘spline’, ‘pchip’, ‘akima’: SciPy 类似名称的插值方法。
  • krogh: 克罗格插值
  • piecewise_polynomial: 分段多项式
  • spline: 样条插值
  • pchip: 立方插值
  • akima: 阿克玛插值
• from_derivatives：指 scipy.interpolate.BPoly.from_derivatives，它替换了 scipy 0.18 中的 piecewise_polynomial 插值方法。

其他参数

• axis: 插值应用的轴方向，可选择 {0 or ‘index’, 1 or ‘columns’, None}, 默认为 None
• limitint: 要填充的连续 NaN 的最大数量， 必须大于 0。
• inplace: 是否将最终结果替换原数据，默认为 False
• limit_direction: 限制方向，可传入 {‘forward’, ‘backward’, ‘both’}, 默认 ‘forward’，如果指定了限制，则将沿该方向填充连续的 NaN
• limit_area: 限制区域，可传入 {None, ‘inside’, ‘outside’}, 默认 None，如果指定了限制，则连续的NaN将被此限制填充
  • None: 没有填充限制
  • ‘inside’: 仅填充有效值包围的NaN（内插）
  • ‘outside’: 仅将NaN填充到有效值之外（外推）
• downcast: 可传入‘infer’ 或者 None, 默认是 None，如果可以向下转换 dtypes
• **kwargs: 传递给插值函数的关键字参数

可参见官网的 interpolation user_guide

常用插值方法

常用的有以下几种方法：

（1）邻近点插值（method=’nearest’）。

（2）线性插值（method=’linear’）：在两个数据点之间连接直线，计算给定的插值点在直线上的值作为插值结果，该方法是interp1函数的默认方法。

（3）三次样条插值（method=’spline’）：通过数据点拟合出三次样条曲线，计算给定的插值点在曲线上的值作为插值结果。

（4）立方插值（method=’pchip’or’cubic’）：通过分段立方Hermite插值方法计算插值结果。

常见特点

选择一种插值方法时，考虑的因素包括运算时间、占用计算机内存和插值的光滑程度。一般来说：

• 邻近点插值方法的速度最快，但平滑性最差；
• 线性插值方法占用的内存较邻近点插值方法多，运算时间也稍长，与邻近点插值不同，其结果是连续的，但顶点处的斜率会改变；
• 三次样条插值方法的运算时间最长，但内存的占用较立方插值法要少，但其插值数据和导数都是连续的。在这4种方法中，三次样条插值结果的平滑性最好，但如果输入数据不一致或数据点过近，就可能出现很差的插值效果。

相关内容

• pandas 重采样线性插补 2022-08-17 18:17:30