pandas 超大数据处理

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

pandas 的诞生背景并不是在大数据使用场景下。pandas 作者 Wes Mckinney 于 2008 年开始构建，基于 Numpy 的基础数据类型和机制。

pandas 如此优雅便利用数据处理接口，不能处理超大数据让人遗憾。本文将介绍在利用 pandas 类似的数据模型和接口情况下，如何处理分析超大数据。

pandas 性能问题

在大数据场景下，pandas 遇到的问题主要原因是 pandas 是基于内存的计算，加载数据时会读取到内存，包括计算时数据也在内存，但对于超出内存容量的数据就无能为力了。

pandas 的主要问题有：

• 内部数据结构距离硬件太过遥远
• 没有内存映射
• 数据库和文件读写性能差
• 丢失值处理支持差
• 内存管理不透明，过于复杂
• Category 数据类型支持差
• 复杂的分组运算性能差
• 数据Append性能差
• 数据类型依赖于numpy，不完整
• 只有Eager evaluation，没有询问计划（query plan）
• 慢，大数据集多核性能很差

近些年来，出现了一系统用于处理大数据的 Python 三方库，如 Dask、Ray、Modin、Vaex、Polars 以及 Apache Arrow 等。常用的 dask 和 ray 是并行多任务库，modin 是计算资源调度库。

大数据库介绍

其他内容：todo

参考

• https://pandas.pydata.org/docs/ecosystem.html#out-of-core
• https://www.zhihu.com/question/50477642/answer/2484127825

---