Hive架构与工作原理

组成及作用：

1. 用户接口：ClientCLI（hive shell）、JDBC/ODBC(java 访问 hive)、WEBUI（浏览器访问 hive）
2. 元数据：Metastore

元数据包括：表名、表所属的数据库（默认是 default）、表的拥有者、列 / 分区字段、表的类型（是否是外部表）、表的数据所在目录等；

默认存储在自带的 derby 数据库中，推荐使用 MySQL 存储 Metastore

1. Hadoop

使用 HDFS 进行存储，使用 MapReduce 进行计算

1. 驱动器：Driver

（1）解析器（SQL Parser）：将 SQL 字符串转换成抽象语法树 AST，这一步一般都用第三方工具库完成，比如 antlr；对 AST 进行语法分析，比如表是否存在、字段是否存在、SQL 语义是否有误。

（2）编译器（Physical Plan）：将 AST 编译生成逻辑执行计划。

（3）优化器（Query Optimizer）：对逻辑执行计划进行优化。

（4）执行器（Execution）：把逻辑执行计划转换成可以运行的物理计划。对于 Hive 来说，就是 MR/Spark。

工作原理：

1. 用户创建数据库、表信息，存储在 hive 的元数据库中；
2. 向表中加载数据，元数据记录 hdfs 文件路径与表之间的映射关系；
3. 执行查询语句，首先经过解析器、编译器、优化器、执行器，将指令翻译成 MapReduce，提交到 Yarn 上执行，最后将执行返回的结果输出到用户交互接口。