pandas 缺失值填充

更新时间：2023-02-23 14:20:41 标签：pandas 缺失值

看过来

《pandas 教程》持续更新中，可作为 pandas 入门进阶课程、pandas 中文手册、用法大全，配有案例讲解和速查手册。提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。查看更新日志。作者开办 Python 数据分析训练营正在报名中，详情 Python 数据分析训练营。

本教程作者所著新书《Python之光：Python编程入门与实战》（ISBN：9787111729891）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

对于缺失值，我们的其中常用的一个办法是利于一定的算法去填充它，虽然可能不是特别准确，但对于较大的数据来说不会对结果产生太多影响。关于 fillna() 的详细语法及使用介绍，可以访问：fillna() 填充缺失值。

填写值 fillna()

fillna(x) 可以将缺失值填充指定的值。以下为几种常见的填充方法：

df = pd.DataFrame([[np.nan, 2, np.nan, 0],
                   [3, 4, np.nan, 1],
                   [np.nan, np.nan, np.nan, 5],
                   [np.nan, 3, np.nan, 4]],
                  columns=list('ABCD'))
# 填充为 0
df.fillna(0)
# 填充为指定字符
df.fillna('missing')
df.fillna('暂无')
df.fillna('待补充')
# 指定字段填充
df.one.fillna('暂无')
# 使填充内容生效
df.one.fillna(0, inplace=True)
# 只替换第一个
df.fillna(0, limit=1)
# 不同列替换不同的值
values = {'A': 0, 'B': 1, 'C': 2, 'D': 3}
df.fillna(value=values)

注意：以上填写不会马上生效，需要重新赋值给 df 或者 inplace=True。

填充方式

不指定值，使用一定的方法。

# 使用 method{‘backfill’, ‘bfill’, ‘pad’, ‘ffill’, None}, default None
# 使用上一个有效值填充
df.fillna(method='backfill')
# 同 backfill
df.fillna(method='bfill')
# 把当前值广播到后边的缺失值
df.fillna(method='pad')
# 同 pad
df.fillna(method='ffill')

别名

总结如下：

pad / ffill：向前填充
bfill / backfill：向后填充

fillna(method='ffill') 可以简写为 ffill() ， fillna(method='bfill') 可以简写为 bfill()

填充计算值

填充方法：

# 填充列的平均值
df.fillna(df.mean())
# 对指定列填充平均值
df.fillna(df.mean()['B':'C'])
# 填充列的平均值，另外一个方法
df.where(pd.notna(df), df.mean(), axis='columns')

特别的计算：

# 第一个非空值
df.fillna(method='bfill').head(1).iloc[0]

# 第一个非空值索引
df.notna().idxmax()
df.apply(pd.Series.first_valid_index)

数值替换 df.replace

缺失值填充的另外一个思路是使用替换方法 df.replace。

# 将指定列的空值替换成指定值
df.replace({'toy': {np.nan: 100}})