pandas 读取数据组合为时间类型

时间：2023-01-31 19:18:16 标签：pandas python 时间

看过来

《pandas 教程》持续更新中，可作为 pandas 入门进阶课程、pandas 中文手册、用法大全，配有案例讲解和速查手册。提供建议、纠错、催更等加作者微信: gairuo123（备注：pandas教程）和关注公众号「盖若」ID: gairuo。查看更新日志。作者开办 Python 数据分析培训，详情 Python 数据分析培训。

本教程作者所著新书《深入浅出Pandas：利用Python进行数据处理与分析》（ISBN：9787111685456）已由机械工业出版社出版上市，各大电商平台有售，欢迎：查看详情并关注购买。

在读取 CSV 文件时，会存在各种不规则的情况，在本例中，我们来学习如何将不规则的数据读取为一个时间列。为了方便演示，我们用了字符串形式，用 StringIO 来缓存。

情况一

以下数据第一行有三个部分：time、stamp、col1，它们之间的空格数不等，第二行及以后为数据，也有三部分日期、时间、数值，空格同样是不规则的。

import pandas as pd
from io import StringIO

data = '''
time stamp           col1
2021-01-11 11:00   0
2021-01-11 12:00   0
2021-01-11 13:00   1
2021-01-11 14:00   1
2021-01-11 15:00   0
'''

需求希望读取为两列，一列为时间（包含日期和时间），一列为数值。代码如下：

pd.read_csv(StringIO(data), 
            sep='\s+', 
            parse_dates={'date_time': [0, 1]})
'''
            date_time  col1
0 2021-01-11 11:00:00     0
1 2021-01-11 12:00:00     0
2 2021-01-11 13:00:00     1
3 2021-01-11 14:00:00     1
4 2021-01-11 15:00:00     0
'''

其中有两个参数的功能如下：

sep：列的分隔符号，也支持正则表达式，这里传入的正则表达式表示一个或者多个空格
parse_dates：解析日期功能，此处传入的字典键是读取的 DataFrame 的列名，值的列表表示组成时间的列的位置索引

这样就正确读取了数据。

情况二

与第一种情况不同，情况二的表头与第一行列后的数据列数不同，数据如下：

import pandas as pd
from io import StringIO

data = '''
timestamp           col1
2021-01-11 11:00   0
2021-01-11 12:00   0
2021-01-11 13:00   1
2021-01-11 14:00   1
2021-01-11 15:00   0
'''

读取代码如下：

pd.read_csv(StringIO(data), 
            sep='\s{3,}', 
            engine='python')
'''
            date_time  col1
0 2021-01-11 11:00:00     0
1 2021-01-11 12:00:00     0
2 2021-01-11 13:00:00     1
3 2021-01-11 14:00:00     1
4 2021-01-11 15:00:00     0
'''

其中两个参数的意义如下：

sep：列的分隔符号，正则表达式表示三个或者以上的空格为一列，第一行的空格大于 3，第一行以后的行时间与数值之间间隔为三个空格，由于日期和时间之间仅有一个空格，会被认为是同一列数据。
engine：要使用的分析器引擎，指定为 Python，因为 sep 中的正则需要 Python 引擎来支持。

这样就正确读取了数据。

（完）

pandas 读取数据组合为时间类型

情况一

情况二

相关内容