pandas 保留对角线上方的数据

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

大多数据情况下，选择和处理的数据是一个矩形区域，或者是一个标量。在本例中，我们需要处理的数据为源数据中的三角形部分。

数据与需求

我们的源数据如下：

import pandas as pd
import numpy as np

# 创建一个对称矩阵
df = pd.DataFrame({'A': [1, 2, 3],
                   'B': [4, 5, 6],
                   'C': [7, 8, 9]})

df
'''
   A  B  C
0  1  4  7
1  2  5  8
2  3  6  9
'''

假设以上数据有一个左上到右下的对角线，现在希望保留这个对角线上方的数据，即 4、7、8，其余修改为缺失值。

思路

用 NumPy 的相关函数构造一个上三角矩阵，然后通过对比获得一个布尔矩阵，最后用 DataFrame 的 mask() 方法将不需要的值修改为缺失值。

代码

NumPy 的 triu() 函数将源数据对角线下方的值设置为 0，其余的值保留：

np.triu(df)
'''
array([[1, 4, 7],
       [0, 5, 8],
       [0, 0, 9]])
'''

返回的是一个 ndarry，设置 k 值为 1，将设置为 0 的区域上移一步：

np.triu(df, 1)
'''
array([[0, 4, 7],
       [0, 0, 8],
       [0, 0, 0]])
'''

由于其余值为 0，向量化判断数组为 0，得到一个布尔数组：

np.triu(df, 1)==0
'''
array([[ True, False, False],
       [ True,  True, False],
       [ True,  True,  True]])
'''

最后，源数据的 mask() 方法来以掩码的逻辑将同形状布尔数组的 True 值为缺失值：

df.mask(np.triu(df, 1)==0)
'''
    A    B    C
0 NaN  4.0  7.0
1 NaN  NaN  8.0
2 NaN  NaN  NaN
'''

这样就完成了这个需求。

（完）

相关内容

• pandas 实战案例集 2023-02-21 19:37:27
• NumPy 构建规则矩阵 2021-01-07 13:05:17
• pandas where() 和 mask() 按条件替换值 2023-02-27 18:31:15