Spark SQL 从文件查询数据

提示

Spark SQL 教程正在筹划编写中，使用过程中有任何建议，提供意见、建议、纠错、催更加微信 gairuo123。

Spark SQL 从文件查询数据时，可以直接使用 SQL 查询指定格式的文件。

语法

Spark SQL 的文件查询语句为：

file_format.`file_path`

参数：

file_format：指定给定文件路径的文件格式，可以是 TEXTFILE、ORC、PARQUET 等
file_path：指定具有给定格式的文件路径

示例

以下是一些示例讲解：

-- PARQUET 文件
SELECT * FROM parquet.`examples/src/main/resources/users.parquet`;
+------+--------------+----------------+
|  name|favorite_color|favorite_numbers|
+------+--------------+----------------+
|Alyssa|          null|  [3, 9, 15, 20]|
|   Ben|           red|              []|
+------+--------------+----------------+

-- ORC 文件
SELECT * FROM orc.`examples/src/main/resources/users.orc`;
+------+--------------+----------------+
|  name|favorite_color|favorite_numbers|
+------+--------------+----------------+
|Alyssa|          null|  [3, 9, 15, 20]|
|   Ben|           red|              []|
+------+--------------+----------------+

-- JSON 文件
SELECT * FROM json.`examples/src/main/resources/people.json`;
+----+-------+
| age|   name|
+----+-------+
|null|Michael|
|  30|   Andy|
|  19| Justin|
+----+-------+

<< 内联表 VALUES Spark SQL 教程抽样查询 TABLESAMPLE >>

更新时间：2021-08-14 14:55:17 标签：sql spark 文件