Hive SQL 简介

本文将介绍 Hive Sql 是什么，它与 SQL 是什么关系，Hive 是什么，它是干什么的。帮助大家理解 Hql 的原理。

Hive 是什么

Hive 是一个基于 apache hadoop 的数据仓库基础设施。Hadoop 支持在硬件上的数据存储和处理，提供了大规模扩展和兼容能力。

Hive 的设计可以方便地对大量数据进行数据摘要、即席查询和分析。它提供了 SQL，使用户可以方便地进行即席查询、摘要和数据分析。同时，Hive 的 SQL 为用户提供了多个地方来集成他们自己的功能来进行定制分析，比如用户定义函数（udf）。

配置单元不是为联机事务处理而设计的，因此它最适合用于传统的数据仓库任务。

Hive 是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过 SQL 来对数据进行操作。

Hive 并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive 的最佳使用场合是大数据集的批处理作业。

Hive SQL

Hive SQL，严谨来说是 HiveQL，简称 Hql，是 Hive 提供一个 SQL 方言。Hive 查询操作过程严格遵守 Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为 MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。

近年来，随着大数据业务的发展，应用范围和需求不断增加，从业人员也随之增长。作为大数据最有影响的 Hadoop 生态，越来越被各大公司应用，开发人员、产品经理、数据分析师、运营人员都参与进来，进行数据使用，HQL 便成为一个必备技能。

Hive的SQL提供了基本的SQL操作。这些操作在表或分区上工作。这些操作包括：

• 使用WHERE子句从表中筛选行的能力。
• 使用select子句从表中选择特定列的能力。
• 能够在两个表之间进行等联接。
• 能够评估多个“分组依据”列上存储在表中的数据的聚合。
• 能够将查询结果存储到另一个表中。
• 能够将表的内容下载到本地（例如，nfs）目录。
• 能够在hadoop dfs目录中存储查询结果。
• 能够管理表和分区（创建、删除和更改）。
• 能够为自定义map/reduce作业插入所选语言的自定义脚本。

HIVE SQL 与SQL的区别

1.结构化查询语言（SQL）：

SQL 是一种特定于领域的语言，用于编程，用于管理关系数据库管理系统（也称为 RDBMS）中的数据。它在处理结构化数据时也很有用，即包含实体和变量之间关系的数据。SQL是在数据库中存储、操作和检索数据的标准语言。

2.配置单元查询语言（HiveQL）：

HiveQL 是一种用于 Hive 分析和处理元存储中结构化数据的查询语言。它与 SQL 非常相似，具有高度的可扩展性。它重用关系数据库世界中熟悉的概念，如表、行、列和模式，以简化学习。Hive 支持四种文件格式，即文本文件、序列文件、ORC 和 RC 文件（记录列文件）。

Hive 和 SQL 之间的主要区别：

• 架构：Hive 是一个用于数据分析的数据仓库项目；SQL是一种编程语言。不过，Hive通过一种名为HiveQL的编程语言（类似于SQL）执行数据分析。
• 设置：Hive 是一个基于开源软件程序 Hadoop 构建的数据仓库。
• 数据分析：Hive比SQL更有效地处理复杂数据，SQL适合不太复杂的数据集。

SQL 和 HiveQL 之间的区别：

对比项	SQL	HiveQL
表结构中的更新命令	UPDATE, DELETE, INSERT	UPDATE, DELETE, INSERT
管理方式	关系型数据	数据结构
事务处理	支持	支持有限
索引	支持	支持
数据类型	它总共包含5种数据类型： Integral, floating-point, fixed-point, text and binary strings, temporal	它总共包含9种数据类型： Boolean, integral, floating-point, fixed-point, text and binary strings, temporal, array, map, struct.
函数	大量内置函数	大量内置函数
Mapreduce	不支持	支持
多表插入	不支持	支持
Create table as Select	不支持	支持
Select 命令	支持	支持使用SORT BY子句进行偏序，并使用LIMIT限制返回的行数
Joins	支持	Inner joins, outer joins, semi join, map joins, cross joins
子查询	支持	仅用于 FROM, WHERE, or HAVING clauses
视图	可以更新	只读，不能更新

适用人群

一般以下人群需要掌握 Hive SQL：

• 数据开发工程师/测试人员
• 数据分析师/商业分析师/数据科学家
• 数据产品经理/业务产品经理
• 业务运营人员
• 等等

编写工具 IDE

编写 Hive SQL 一般不需要专门的软件工具，各公司公集成 HUE 等平台用浏览器打开页面编写并运行即可，也可以找个自己称心的代码编辑器，编写整理好代码并在公司平台执行。

对于初学者，由于 Hadoop 为分布式，就算单机版也不容易搭建，因此可以在以下公开的免费网站上进行练习：

https://gethue.com 页面有提示用户名和密码

参考

• https://www.cnblogs.com/starzy/p/11441131.html
• https://www.jianshu.com/p/0696a52226bb

---