pandas 缺失值 NA 标量

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

Pandas 1.0 以后引入了一个专门表示缺失值的标量 pd.NA，它代表空整数、空布尔、空字符，这个功能目前处于实验阶段。

pd.NA 的目标是提供一个“缺失值”指示器，该指示器可以在各种数据类型中一致使用（而不是np.nan，None 或 pd.NaT，具体取决于数据类型）。

类型

它的类型检测：

s = pd.Series([1, 2, None], dtype="Int64")
'''
0       1
1       2
2    <NA>
dtype: Int64
'''
s[2]
# <NA>
s[2] is pd.NA
# True

它是一个缺失值无疑：

pd.isna(pd.NA)
# True

当前（1.0.3版本），pandas 默认尚未使用 NA 数据类型（在创建 DataFrame 或 Series时，或在读取数据时），因此您需要显式指定 dtype。 df.convert_dtypes() 就是一个非常好用的办法。

算术运算

它各种运算结果还是 ，但也有一些特殊情况：

# 加法
pd.NA + 1
# <NA>
# 乘法
'a' * pd.NA
# <NA>
pd.NA ** 0
# 1
1 ** pd.NA
# 1

一些比较运算：

pd.NA == 1
# <NA>
pd.NA == pd.NA
# <NA>
pd.NA < 2.5
# <NA>

逻辑操作

对于逻辑运算，pd.NA遵循三值逻辑（或Kleene逻辑，类似于R，SQL和Julia）的规则。 此逻辑意味着仅在逻辑上需要时才传播缺失值。

例如，对于逻辑“或”运算（|），如果其中一个操作数为True，则我们已经知道结果将为True，而与其他值无关（因此无论缺失值是True还是False）。 在这种情况下，pd.NA不会传播：

或：

# True：
True | False
# True
True | pd.NA
# True
pd.NA | True
# True

# False：
False | True
# True
False | False
# False
False | pd.NA
# <NA>

与：

False & True
# False
False & False
# False
False & pd.NA
# False
True & True
# True
True & False
# False
True & pd.NA
# <NA>

在布尔类型中

由于 NA 的实际值是未知的，因此将NA转换为布尔值会引发错误。这样在 if 条件中无法直接做逻辑判断，可以使用 pd.isna(pd.NA) 来判断。当然，预先做好填充值是最好的。

NumPy 函数中使用

大多数情况下会返回 <NA> ，如：

np.log(pd.NA)
# <NA>
np.add(pd.NA, 1)
# <NA>