pandas fillna() 填充缺失值

看过来

《pandas 教程》持续更新中，提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》和《Python之光》。

我们接触到数据往往会存在一些缺失值，为了数据分析建立模型，我们会按照一写的规则将这些缺失进行填充修补。pandas 的 DataFrame、Series、时间序列都支持缺失值填充操作。本文将一一介绍 fillna() 在这些对象中的使用。

支持的对象

pandas 的以下对象支持 fillna() 方法：

pandas.DataFrame.fillna
pandas.Series.fillna
pandas.Index.fillna
pandas.core.groupby.DataFrameGroupBy.fillna
pandas.core.resample.Resampler.fillna
pandas.api.extensions.ExtensionArray.fillna

通用语法

在 DataFrame 和 Series 等对象上的 replace() 方法的参数是：

fillna(
    self,
    value: 'object | ArrayLike | None' = None,
    method: 'FillnaOptions | None' = None,
    axis: 'Axis | None' = None,
    inplace: 'bool' = False,
    limit=None,
    downcast=None,
)

使用指定的方法填充 NA/NaN 值。

它的参数有：

value : scalar, dict, Series, 或者 DataFrame
用于填充的值 (比如 0), 或者是一个 dict/Series/DataFrame，指定要用于的值每个索引（对于系列）或列（对于数据帧）。值不是在 dict/Series/DataFrame 中，将不会填充。此值不能成为一个列表。
method : {'backfill', 'bfill', 'pad', 'ffill', None}, 默认 None.用于利用现有值填充的方法，有：
- pad / ffill: 将上一个有效观察值向前传播到下一个有效观察值
- backfill / bfill: 使用下一个有效观察值来填充间隙
axis : {0 or 'index', 1 or 'columns'}，沿其填充缺失值的轴
inplace : bool, 默认 False。如果为 True，将原地修改。注意：这将修改此对象上的其他视图（例如数据帧）
limit : int, 默认 None。如果指定了方法，则这是要向前/向后填充的连续 NaN 值的最大数目。换言之，如果存在超过此数量的连续 NAN 的缺口，则只能部分填补。如果未指定方法，则这是沿整个轴填充NAN 的最大条目数。如果不是 None，则必须大于 0
downcast : dict, 默认 None。如果可能的话，一个 item->dtype 的 dict，或者一个字符串“infer”，它将尝试向下转换为适当的相等类型（例如，如果可能的话，float64 到 int64）

注意，在 DataFrameGroupBy 中使用时和通用方法一样，因为每个分组是一个 DataFrame。

通用示例

以下是一些通用功能的示例：

df = pd.DataFrame([[np.nan, 2, np.nan, 0],
                   [3, 4, np.nan, 1],
                   [np.nan, np.nan, np.nan, np.nan],
                   [np.nan, 3, np.nan, 4]],
                  columns=list("ABCD"))
df
'''
     A    B   C    D
0  NaN  2.0 NaN  0.0
1  3.0  4.0 NaN  1.0
2  NaN  NaN NaN  NaN
3  NaN  3.0 NaN  4.0
'''

# 将所有NaN元素替换为0
df.fillna(0)
'''
     A    B    C    D
0  0.0  2.0  0.0  0.0
1  3.0  4.0  0.0  1.0
2  0.0  0.0  0.0  0.0
3  0.0  3.0  0.0  4.0
'''

# 我们还可以向前或向后传播非null值。
df.fillna(method="ffill")
'''
     A    B   C    D
0  NaN  2.0 NaN  0.0
1  3.0  4.0 NaN  1.0
2  3.0  4.0 NaN  1.0
3  3.0  3.0 NaN  4.0
'''

# 将列“A”、“B”、“C”和“D”中的所有NaN元素
# 分别替换为0、1、2和3
values = {"A": 0, "B": 1, "C": 2, "D": 3}
df.fillna(value=values)
'''
     A    B    C    D
0  0.0  2.0  2.0  0.0
1  3.0  4.0  2.0  1.0
2  0.0  1.0  2.0  3.0
3  0.0  3.0  2.0  4.0
'''

# 仅替换第一个NaN元素
df.fillna(value=values, limit=1)
'''
     A    B    C    D
0  0.0  2.0  2.0  0.0
1  3.0  4.0  NaN  1.0
2  NaN  1.0  NaN  3.0
3  NaN  3.0  NaN  4.0
'''

# 使用 DataFrame 填充时，替换将沿着相同的列名和索引进行
# 请注意，D列不受影响，因为它在df2中不存在
df2 = pd.DataFrame(np.zeros((4, 4)), columns=list("ABCE"))
df.fillna(df2)
'''
     A    B    C    D
0  0.0  2.0  0.0  0.0
1  3.0  4.0  0.0  1.0
2  0.0  0.0  0.0  NaN
3  0.0  3.0  0.0  4.0
'''

Index.fillna

pandas 的索引对象支持的语法功能有些不同，语法为：

pd.Index.fillna(self, value=None, downcast=None)

参数为：

value : scalar
- 用于填充的标量值（例如0）
- 此值不能是类似列表的值
downcast : dict, 默认不 None
- 如果可能的话，向下转型 item->dtype
- 字符串“infer”将尝试向下转换为适当的相等类型（如可能的话，将float64转换为int64）

Resampler.fillna

在统计学中，插补是用替代值替换缺失数据的过程。重新采样数据时，可能会出现缺失值（例如，当重新采样频率高于原始频率时）。

它填充上采样引入的缺失值，语法为：

Resampler.fillna(method, limit=None)

将不会修改原始数据中存在的缺失值。

参数：

method: {‘pad’, ‘backfill’, ‘ffill’, ‘bfill’, ‘nearest’}
- nearest：使用最近的有效观测值来填充间隙。
limit: int, optional

参数为的意义与通用的语法中的相同。

示例：

# Series:
s = pd.Series([1, 2, 3],
              index=pd.date_range('20180101', periods=3, freq='h'))
s
'''
2018-01-01 00:00:00    1
2018-01-01 01:00:00    2
2018-01-01 02:00:00    3
Freq: H, dtype: int64
'''

# 在不填充缺失值的情况下，您可以获得：
s.resample("30min").asfreq()
'''
2018-01-01 00:00:00    1.0
2018-01-01 00:30:00    NaN
2018-01-01 01:00:00    2.0
2018-01-01 01:30:00    NaN
2018-01-01 02:00:00    3.0
Freq: 30T, dtype: float64
'''

s.resample('30min').fillna("backfill")
'''
2018-01-01 00:00:00    1
2018-01-01 00:30:00    2
2018-01-01 01:00:00    2
2018-01-01 01:30:00    3
2018-01-01 02:00:00    3
Freq: 30T, dtype: int64
'''

s.resample('15min').fillna("backfill", limit=2)
'''
2018-01-01 00:00:00    1.0
2018-01-01 00:15:00    NaN
2018-01-01 00:30:00    2.0
2018-01-01 00:45:00    2.0
2018-01-01 01:00:00    2.0
2018-01-01 01:15:00    NaN
2018-01-01 01:30:00    3.0
2018-01-01 01:45:00    3.0
2018-01-01 02:00:00    3.0
Freq: 15T, dtype: float64
'''

s.resample('30min').fillna("pad")
'''
2018-01-01 00:00:00    1
2018-01-01 00:30:00    1
2018-01-01 01:00:00    2
2018-01-01 01:30:00    2
2018-01-01 02:00:00    3
Freq: 30T, dtype: int64
'''

s.resample('30min').fillna("nearest")
'''
2018-01-01 00:00:00    1
2018-01-01 00:30:00    2
2018-01-01 01:00:00    2
2018-01-01 01:30:00    3
2018-01-01 02:00:00    3
Freq: 30T, dtype: int64
'''

# 上采样前存在的缺失值不受影响。
sm = pd.Series([1, None, 3],
              index=pd.date_range('20180101', periods=3, freq='h'))
sm
'''
2018-01-01 00:00:00    1.0
2018-01-01 01:00:00    NaN
2018-01-01 02:00:00    3.0
Freq: H, dtype: float64
'''

sm.resample('30min').fillna('backfill')
'''
2018-01-01 00:00:00    1.0
2018-01-01 00:30:00    NaN
2018-01-01 01:00:00    NaN
2018-01-01 01:30:00    3.0
2018-01-01 02:00:00    3.0
Freq: 30T, dtype: float64
'''

sm.resample('30min').fillna('pad')
'''
2018-01-01 00:00:00    1.0
2018-01-01 00:30:00    1.0
2018-01-01 01:00:00    NaN
2018-01-01 01:30:00    NaN
2018-01-01 02:00:00    3.0
Freq: 30T, dtype: float64
'''

sm.resample('30min').fillna('nearest')
'''
2018-01-01 00:00:00    1.0
2018-01-01 00:30:00    NaN
2018-01-01 01:00:00    NaN
2018-01-01 01:30:00    3.0
2018-01-01 02:00:00    3.0
Freq: 30T, dtype: float64
'''

# 数据帧重采样是按列进行的，所有相同的选项都可用
df = pd.DataFrame({'a': [2, np.nan, 6], 'b': [1, 3, 5]},
                  index=pd.date_range('20180101', periods=3,
                                      freq='h'))
df
'''
                       a  b
2018-01-01 00:00:00  2.0  1
2018-01-01 01:00:00  NaN  3
2018-01-01 02:00:00  6.0  5
'''

df.resample('30min').fillna("bfill")
'''
                       a  b
2018-01-01 00:00:00  2.0  1
2018-01-01 00:30:00  NaN  3
2018-01-01 01:00:00  NaN  3
2018-01-01 01:30:00  6.0  5
2018-01-01 02:00:00  6.0  5
'''

ExtensionArray.fillna

pandas 的数组扩展对象 pandas.api.extensions.ExtensionArray.fillna 支持语法为：

ExtensionArray.fillna(value=None, method=None, limit=None)

参数也与通用语法相同:

value: scalar, array-like。如果传递了标量值，则使用标量值填充所有缺失的值。或者，可以给出类似“value”的数组。预计类数组的长度与“self”相同。
method: {‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, 默认 None
limit: int, 默认 None。如果指定了方法，则这是要向前/向后填充的连续NaN值的最大数目。换言之，如果存在超过此数量的连续NAN的缺口，则只能部分填补。如果未指定方法，则这是沿整个轴填充NAN的最大条目数。

参考

https://pandas.pydata.org/docs/reference/api/pandas.DataFrame.fillna.html