pandas 按条件筛选成组数据

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

有些场景下需要筛选满足条件则整组数据被选中，如分组统计：如果需要统计每一组数据中满足某些特定条件的数据，选中满足条件的整组数据；数据过滤：如果需要过滤掉某些不符合要求的数据，只保留满足条件的整组数据；数据分析：如果需要分析某一类数据，选中满足条件的整组数据进行分析；数据探索：如果需要探索某一组数据的特征，选中满足条件的整组数据进行探索。

在本例中，我们通过一个简单的例子，来看看如何用 pandas 实现此类需求。

数据与需求

源数据及构造方法如下：

import pandas as pd
from io import StringIO

data = '''
姓名 年龄 学校 成绩 类别
小明 15  一中  99   4
小美 12  一中  63   1
灰灰 19  一中  85   2
铭铭 12  一中  76   2
豪豪 15  一中  55   4
小黄 18  二中  68   3
小黑 16  二中  85   3
'''

df = pd.read_csv(StringIO(data), delim_whitespace=True)
df
# ...

需求为要找出满足年龄和学校相同、并且其中有类别不为 1 的几组数据，根据需求可以发现，小明和豪豪这两条数据是符合要求的。接下来，我们看看如何编写代码。

思路

需求中，年龄和学校要相同，我们可以用这两列分组，分组后如果数据条数大于 1，则先满足了第一个条件，接下来再判断分组后的类别是有没有 1，如果没有则表示符合条件。

代码

先按年龄和学校分组，并使用分组对象的 filter() 方便过虑保留满足条件的组：

(
    df.groupby(['年龄', '学校'])
    .filter(lambda x: (len(x) > 1) & (1 not in x.类别))
)

这段 pandas 代码进行数据处理的逻辑如下。

• df 是一个 pandas DataFrame 数据类型，代表需要处理的源数据。
• groupby 是分组方法，它会按照指定的列对数据进行分组，在这里，它按照 '年龄' 和 '学校' 两列进行分组，产生一个分组对象，它由分组后的各个子 DataFrame 组成。
• filter 是分组对象的数据过滤方法，它会按照指定的条件过滤掉不满足条件的组。它的第一个参数是一个函数，分别传入的是各组的 DataFrame，返回的是一个布尔值，为 False 则过虑掉。在这里，它的过滤条件是一个 lambda 函数，该函数接受一个参数 x，代表一个分组后的子 DataFrame，并返回一个布尔值。lambda 语句中有并列并同时需要满足两个条件：
  • 各组的行数大于 1
  • 在子 DataFrame 的类别列中，不包含 1

因此，这段代码的效果是：对于数据中每个组，如果该组中数据的行数不大于 1 或 '类别' 列中有 1，则会过滤掉该组，剩下的组将会组成一个新的 DataFrame，并作为该代码的最终结果返回。

这样，我们就完成了这个需求。

（完）

相关内容

• pandas 实战案例集 2023-02-21 19:37:27
• pandas filter() 筛选标签 2022-01-22 14:38:32