1 hadoop

hive 的使用依赖 hadoop, 所以先介绍 hadoop。

1.1 hadoop 下载和安装

笔者是在 Centos7.3 上安装的 hadoop, 使用的是 hadoop-3.2 的版本。直接按照 hadoop-2.9 文档安装即可。

hadoop 下载地址

1.2 设置 hadoop 的环境变量

hadoop 的环境变量一定要设置，不然 hive 启动的时候会提示找不到 hadoop。

在 /etc/profile 中加入
export $HADOOP_HOME=hadoop 的安装路径
export $PATH=$PATH:$HADOOP_HOME/bin

注意：如果环境变量 PATH 设置错误，会导致一些命令失效。
centos 输入什么命令都失效

1.3 ssh localhost

启动 hadoop 的时候要求在不输入密码的情况下能够 ssh localhost 成功。在 hadoop 的官方文档有提到解决办法。我自己遇到的问题是：localhost:permission denied(publickey,password)

解决办法：
解决 ssh localhost 中 root@localhost: 要求输入密码问题（已经进行了无密码设置登录）
root 用户操作文件：Operation not permitted

1.4 Name node is in safe mode

在使用 bin/hdfs dfs -mkdir /tmp 命令时出现 Cannot create directory /usr. Name node is in safe mode 问题，百度上很多答案都说用 bin/hdfs dfsadmin -safemode leave 关闭安全模式，但是我使用了这个命令，安全模式会自动再次打开，也有一种说法是磁盘满了，但是我的还有一半的空间没利用，最后没有找到其他办法，重启了 Hadoop，就解决了。

2 hive

2.1 hive 的下载和安装

我使用的是 hive-3.1.1-bin 版本，按照官方文档安装即可。

2.2 hive 环境变量的配置

export HIVE_HOME=hive 安装目录
export PATH=$PATH:$HIVE_HOME/bin

2.3 hive-site.xml 配置

需要在添加一个数据库连接，如果在 $HIVE_HOME/conf 找不到 hive-site.xml，可以自己创建一个。我使用的是 mysql 数据库。

hive-site.xml 配置

在 MySql 数据库的连接 url 中要添加 useSSL=false

遇到的问题：Unexpected character ‘=’ (code 61); expected a semi-colon after the reference for entity ‘useUnicode

2.4 元数据库初始化

FAILED: HiveException java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient

需要执行：schematool -dbType mysql -initSchema

2.5 mysql 数据库

数据库是很早之前安装的，用的时候连接不上了，关闭 mysql 之后，启动不了。解决办法

用 service mysqld start 启动失败会提示使用 service mysqld status 和journalct -xe查看错误信息，但是这两个命令的结果都看不出错误信息。mysql 的日志在 /var/log/mysqld.log 文件中，可以使用 tail -n 1000 /var/log/mysqld.log 查看错误信息。再错误信息排错。

以上就是自己在安装 hadoop 和 hive 的过程中遇到的问题，做个记录。