pandas 链式方法

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

链式方法是当前比较流行的一种语法规则，本文将介绍链式方法的思想，有什么好处，Pandas 如何使用链式方法。关于链式方法的优点，在作者的新书《深入浅出Pandas》第 17.1.1 章节（p.360）有详细的介绍，其中包括了编写方法，解决需求的思路等内容，教你写出「pandastic」的代码。

链式方法

pandas 的链式编写方法是利用 pandas 的面向对象特性，下一个方法或者操作对上一个对象应用相关方法的过程。形式如：

# 长注释
df.<method1>.<method1>.<method2>.<method3>.<methodN>

为了方便阅读，也可以写成如下形式：

(
    df.<method1> # 短注释
    .<method1> # 短注释
    # 长注释
    .<method2>
    .<...>
    ..<methodN>
)

可以通过下文的 DEMO 理解，也可以通过 Pandas 分析近100年圣诞节的星期分布 这个案例理解。

思想和优势

这种方法是基于我们日常对数据处理过程的，每个方法对会前边已经处理好的数据进行进一步的操作，与我们实际处理数据的思路相同，因此编码之前只要做好处理步骤的规划就能快速进入编码阶段，此思考过程也在我的《深入浅出Pandas》书中有详细介绍。

总结其优点有以下几点：

• 思路清晰，便于编码设计
• 代码流畅，与注释结合便于阅读
• 减少变量传递，代码更加紧凑
• 少变量传递，减少内存占用
• 方便注释不执行的代码行，方便调试
• 不破坏源数据，源数据依然没变，再继续使用
• 方便封闭，可以快速定义一个方法，供如 pipe 调用
• 它是一行代码，看起来高端（可吹牛）

DEMO

一：

(df.groupby('team')
 .sum()
 .assign(Q1Q2=lambda x: x.Q1+x.Q2)
 .Q1Q2
 .plot()
)

二：

(
    pd.concat(pd.read_csv('data1.csv'), pd.read_csv('data2.csv'))
    .fillna(...)
    .append(...)
    .set_index('...')
    .query('some_condition')
    .assign(new_column = pd.cut(...))
    .eval('...')
    .pivot_table(...)
    .pipe(fun) # 应用管道方法
    .rename(...) # 修改轴名
    .loc[lambda x: ...] # 筛选
    .mask(df.A>=2,1) # 修改数据
    .plot # 绘图
    .line(...)
)

解决代码提示的问题

使用链式方法时，有以下问题：

• 需要大量用到 lambda 匿名函数，很多代码编辑器无法智能识别 lambda 变量是 Series 还是 DataFrame
• 代码链条过长，代码编辑器无法识别后续代码的上一代码链的对象类型

由于以上原因，不能享用代码提示和代码补全功能，因此我提供了一种解决方案：

在每个操作代码中均使用 pipe 管道方法调用函数，函数为匿名函数，变量使用 s 代表 Series，d 代表 DataFrame，在使用这两个变量前，对 s 和 d 分别进行 Series 和 DataFrame 对象赋值。

在编写代码时会认为是这两个对象，代码编辑器会进行代码提示和补全，但在执行时 s 和 d 它们又是 lambda 的局部变量，会正确执行逻辑代码。

见以下代码示例，在编写过程中会做代码提示：

import pandas as pd

s = pd.Series
d = pd.DataFrame

df = pd.read_csv('https://www.gairuo.com/file/data/team.csv')

(
    df.set_index('name')
    .pipe(lambda d: d.assign(total=d.sum(1, numeric_only=True)))
    .pipe(lambda d: d.assign(avg=d.total/4))
    .avg
    .pipe(lambda s: s.add(10))
    .pipe(lambda s: s.max())
)

这样就巧妙地解决了这个问题。

以上在 VS code 中的效果。

参考

• https://www.jianshu.com/p/6bcb0f11cc1d
• https://note.nkmk.me/en/python-method-chain-line-break/