Hive SQL 语句的执行顺序

当我们写了一个 sql，但是执行起来很慢，这时如果我们知道这个sql的底层执行流程是怎样的，就会比较容易去优化。

虽然表面上是写 sql，但是在从 hive 的 sql，到最终出来执行结果，中间经历了 MR 流程，其中 MR 的 map，combiner，shuffle，reduce 具体是执行了 hive 的那个部分，这样就会比较全面。

执行顺序

在 hive 和 mysql 中都可以通过 explain+sql 语句，来查看执行顺序。对于一条标准 sql 语句，它的书写顺序是这样的：

select … from … where … group by … having … order by … limit …

（1）mysql 语句执行顺序：

from... where...group by... having.... select ... order by... limit …

（2）hive 语句执行顺序：

FROM —> WHERE —> GROUP BY—> 聚合函数 —> HAVING—> SELECT —> ORDER BY —> LIMIT

Hive 的顺序

hive 基于 MapReduce 程序，它的执行顺序决定了 hive 语句的执行顺序，Map 阶段：

• 执行 from 加载，进行表的查找与加载
• 执行 where 过滤，进行条件过滤与筛选
• 执行 select 查询：进行输出项的筛选
• 执行 group by 分组：描述了分组后需要计算的函数
• map 端文件合并：map 端本地溢出写文件的合并操作，每个 map 最终形成一个临时文件。

然后按列映射到对应的 reduceReduce 阶段：

• group by：对map端发送过来的数据进行分组并进行计算。
• select：最后过滤列用于输出结果
• limit：排序后进行结果输出到HDFS文件

优化要点

根据执行顺序，我们平时编写时需要记住以下几点：

• 使用分区剪裁、列剪裁，分区一定要加
• 少用 COUNT DISTINCT，group by 代替 distinct
• 是否存在多对多的关联
• 连接表时使用相同的关键词，这样只会产生一个 job
• 减少每个阶段的数据量，只选出需要的，在 join 表前就进行过滤
• 大表放后面
• 谓词下推：where 谓词逻辑都尽可能提前执行，减少下游处理的数据量
• sort by 代替 order by

参考

• https://cloud.tencent.com/developer/article/1453464
• https://www.cnblogs.com/gxgd/p/9431783.html
• https://blog.csdn.net/wx1528159409/article/details/88583316

---