Hive SQL 简介
提示
Hive SQL 教程 欢迎使用。提供建议、纠错、催更等加作者微信: gairuo123（备注：sql ）和关注公众号「盖若」ID: gairuo。跟作者学习，请进入 Python学习课程。欢迎关注作者出版的书籍：《深入浅出Pandas》 和 《Python之光》。
本文将介绍 Hive Sql 是什么，它与 SQL 是什么关系，Hive 是什么，它是干什么的。帮助大家理解 Hql 的原理。
Hive 是什么
Hive 是一个基于 apache hadoop 的数据仓库基础设施。Hadoop 支持在硬件上的数据存储和处理，提供了大规模扩展和兼容能力。
Hive 的设计可以方便地对大量数据进行数据摘要、即席查询和分析。它提供了 SQL，使用户可以方便地进行即席查询、摘要和数据分析。同时，Hive 的 SQL 为用户提供了多个地方来集成他们自己的功能来进行定制分析，比如用户定义函数（udf）。
配置单元不是为联机事务处理而设计的，因此它最适合用于传统的数据仓库任务。
Hive 是一个数据仓库基础的应用工具，在Hadoop中用来处理结构化数据，它架构在Hadoop之上，通过 SQL 来对数据进行操作。
Hive 并非为联机事务处理而设计，Hive 并不提供实时的查询和基于行级的数据更新操作。Hive 的最佳使用场合是大数据集的批处理作业。
Hive SQL
Hive SQL，严谨来说是 HiveQL，简称 Hql，是 Hive 提供一个 SQL 方言。Hive 查询操作过程严格遵守 Hadoop MapReduce 的作业执行模型，Hive 将用户的Hive SQL 语句通过解释器转换为 MapReduce 作业提交到Hadoop 集群上，Hadoop 监控作业执行过程，然后返回作业执行结果给用户。
近年来，随着大数据业务的发展，应用范围和需求不断增加，从业人员也随之增长。作为大数据最有影响的 Hadoop 生态，越来越被各大公司应用，开发人员、产品经理、数据分析师、运营人员都参与进来，进行数据使用，HQL 便成为一个必备技能。
Hive的SQL提供了基本的SQL操作。这些操作在表或分区上工作。这些操作包括：
- 使用WHERE子句从表中筛选行的能力。
- 使用select子句从表中选择特定列的能力。
- 能够在两个表之间进行等联接。
- 能够评估多个“分组依据”列上存储在表中的数据的聚合。
- 能够将查询结果存储到另一个表中。
- 能够将表的内容下载到本地（例如，nfs）目录。
- 能够在hadoop dfs目录中存储查询结果。
- 能够管理表和分区（创建、删除和更改）。
- 能够为自定义map/reduce作业插入所选语言的自定义脚本。
HIVE SQL 与SQL的区别
1.结构化查询语言（SQL）：
SQL 是一种特定于领域的语言，用于编程，用于管理关系数据库管理系统（也称为 RDBMS）中的数据。它在处理结构化数据时也很有用，即包含实体和变量之间关系的数据。SQL是在数据库中存储、操作和检索数据的标准语言。
2.配置单元查询语言（HiveQL）：
HiveQL 是一种用于 Hive 分析和处理元存储中结构化数据的查询语言。它与 SQL 非常相似，具有高度的可扩展性。它重用关系数据库世界中熟悉的概念，如表、行、列和模式，以简化学习。Hive 支持四种文件格式，即文本文件、序列文件、ORC 和 RC 文件（记录列文件）。
Hive 和 SQL 之间的主要区别：
- 架构：Hive 是一个用于数据分析的数据仓库项目；SQL是一种编程语言。不过，Hive通过一种名为HiveQL的编程语言（类似于SQL）执行数据分析。
- 设置：Hive 是一个基于开源软件程序 Hadoop 构建的数据仓库。
- 数据分析：Hive比SQL更有效地处理复杂数据，SQL适合不太复杂的数据集。
SQL 和 HiveQL 之间的区别：
| 对比项 | SQL | HiveQL |
|---|---|---|
| 表结构中的更新命令 | UPDATE, DELETE, INSERT | UPDATE, DELETE, INSERT |
| 管理方式 | 关系型数据 | 数据结构 |
| 事务处理 | 支持 | 支持有限 |
| 索引 | 支持 | 支持 |
| 数据类型 | 它总共包含5种数据类型： Integral, floating-point, fixed-point, text and binary strings, temporal | 它总共包含9种数据类型： Boolean, integral, floating-point, fixed-point, text and binary strings, temporal, array, map, struct. |
| 函数 | 大量内置函数 | 大量内置函数 |
| Mapreduce | 不支持 | 支持 |
| 多表插入 | 不支持 | 支持 |
| Create table as Select | 不支持 | 支持 |
| Select 命令 | 支持 | 支持使用SORT BY子句进行偏序，并使用LIMIT限制返回的行数 |
| Joins | 支持 | Inner joins, outer joins, semi join, map joins, cross joins |
| 子查询 | 支持 | 仅用于 FROM, WHERE, or HAVING clauses |
| 视图 | 可以更新 | 只读，不能更新 |
适用人群
一般以下人群需要掌握 Hive SQL：
- 数据开发工程师/测试人员
- 数据分析师/商业分析师/数据科学家
- 数据产品经理/业务产品经理
- 业务运营人员
- 等等
编写工具 IDE
编写 Hive SQL 一般不需要专门的软件工具，各公司公集成 HUE 等平台用浏览器打开页面编写并运行即可，也可以找个自己称心的代码编辑器，编写整理好代码并在公司平台执行。
对于初学者，由于 Hadoop 为分布式，就算单机版也不容易搭建，因此可以在以下公开的免费网站上进行练习：
https://gethue.com 页面有提示用户名和密码
参考
- https://www.cnblogs.com/starzy/p/11441131.html
- https://www.jianshu.com/p/0696a52226bb
更新时间：2022-04-27 11:09:05 标签：hql hive sql
