Spark SQL 数据透视子句 PIVOT

更新时间：2021-08-29 14:31:13 标签：sql spark 数据透视

提示

Spark SQL 教程正在筹划编写中，使用过程中有任何建议，提供意见、建议、纠错、催更加微信 gairuo123。

Spark SQL 的 PIVOT 子句用于数据透视。我们可以根据特定的列值获得聚合值，这些值将转换为 SELECT 子句中使用的多个列。PIVOT 子句可以在表名或子查询之后指定。

语法

Spark SQL 的 PIVOT 结构为：

PIVOT ( { aggregate_expression [ AS aggregate_expression_alias ] } [ , ... ]
    FOR column_list IN ( expression_list ) )

参数：

aggregate_expression：指定聚合表达式 (SUM(a), COUNT(DISTINCT b) 等)
aggregate_expression_alias：指定聚合表达式的别名
column_list：包含 FROM 子句中的列，该子句指定要用新列替换的列。我们可以使用括号来包围，例如（c1，c2）
expression_list：指定用于匹配 column_list 中的值的新列作为聚合条件。我们还可以为它们添加别名

示例

以下是一些示例讲解：

CREATE TABLE person (id INT, name STRING, age INT, class INT, address STRING);
INSERT INTO person VALUES
    (100, 'John', 30, 1, 'Street 1'),
    (200, 'Mary', NULL, 1, 'Street 2'),
    (300, 'Mike', 80, 3, 'Street 3'),
    (400, 'Dan', 50, 4, 'Street 4');

SELECT * FROM person
    PIVOT (
        SUM(age) AS a, AVG(class) AS c
        FOR name IN ('John' AS john, 'Mike' AS mike)
    );
+------+-----------+---------+---------+---------+---------+
|  id  |  address  | john_a  | john_c  | mike_a  | mike_c  |
+------+-----------+---------+---------+---------+---------+
| 200  | Street 2  | NULL    | NULL    | NULL    | NULL    |
| 100  | Street 1  | 30      | 1.0     | NULL    | NULL    |
| 300  | Street 3  | NULL    | NULL    | 80      | 3.0     |
| 400  | Street 4  | NULL    | NULL    | NULL    | NULL    |
+------+-----------+---------+---------+---------+---------+

SELECT * FROM person
    PIVOT (
        SUM(age) AS a, AVG(class) AS c
        FOR (name, age) IN (('John', 30) AS c1, ('Mike', 40) AS c2)
    );
+------+-----------+-------+-------+-------+-------+
|  id  |  address  | c1_a  | c1_c  | c2_a  | c2_c  |
+------+-----------+-------+-------+-------+-------+
| 200  | Street 2  | NULL  | NULL  | NULL  | NULL  |
| 100  | Street 1  | 30    | 1.0   | NULL  | NULL  |
| 300  | Street 3  | NULL  | NULL  | NULL  | NULL  |
| 400  | Street 4  | NULL  | NULL  | NULL  | NULL  |
+------+-----------+-------+-------+-------+-------+

<< CASE 子句 Spark SQL 教程 LATERAL VIEW 子句 >>