关于hive:手把手教你搭建Hive环境

筹备环境：hadoop 根底环境（3.1.3）Hive 版本 3.1.2

下载地址：https://hive.apache.org/downloads.html

Hive3.X 版本反对 Hadoop3.X,Hive2.0 版本反对 Hadoop2.X

1、上传安装包，解压文件

tar -zxvf   对应包名

2、创立软连贯

ln -s  apache-hive-1.2.2-bin hive

3、批改环境变量

vim ~/.bash_profile

批改实现使环境变量立刻失效

source ~/.bash_profile

4、批改配置文件名

mv hive-env.sh.template hive-env.sh

5、进入该文件，配置 hadoop 门路与 hive_conf 门路

6、在 hdfs 上创立相干目录，附加相干权限

hdfs dfs -mkdir -p  /user/hive/warehouse

hdfs dfs -mkdir /tmp

hdfs dfs -chmod g+w /tmp  /user/hive/warehouse

7、启动 hive（在此之前须要保障 hdfs、yarn 已启动）

这里须要留神

1）如果 hadooplib 中的相干 jar 包与 hive 中的 jar 包抵触会导致启动失败：相干问题见链接

http://www.bubuko.com/infodetail-3286965.html

2) 执行查看库 hql 语句，一开始没有执行初始化库操作导致启动失败，hive 存储元数据的默认库为 derby。

https://blog.csdn.net/lz6363/article/details/95805446

初始化相干指令

schematool -dbType derby -initSchema

至此 hive 初步环境搭建实现。

8、更改 hive 寄存元数据数据库为 mysql，这里首先介绍 mysql 数据库的装置步骤

1）首先下载下载并装置 MySQL 官网的 Yum Repository

wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm

2）装置 MySQL 服务器

yum -y install mysql57-community-release-el7-10.noarch.rpm

3）启动 mysql 并查看 mysql 状态

systemctl start  mysqld.service

systemctl status mysqld.service

显示 active，启动胜利。

4）查看初始密码

grep “password” /var/log/mysqld.log

5）登录 mysql 数据库并批改明码

mysql -uroot -p

这里须要留神的是，如果明码设置过于简略会报错

起因是因为 MySQL 有明码设置的标准，具体是与 validate_password_policy 的值无关：

批改一下明码规定

set global validate_password_policy=0;

set global validate_password_length=1;

此时在批改明码就能够了

ALTER USER ‘root’@’localhost’ IDENTIFIED BY ‘new password’;

6) 查看数据库

show databases;

9、在 hive/conf 目录中创立文件 hive-site.xml

<configuration> <property> <name>javax.jdo.option.ConnectionURL</name> <value>jdbc:mysql://172.16.25.27:3306/metastore?createDatabaseIfNotExist=true</value> <description>JDBC connect string for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionDriverName</name> <value>com.mysql.jdbc.Driver</value> <description>Driver class name for a JDBC metastore</description> </property> <property> <name>javax.jdo.option.ConnectionUserName</name> <value>root</value> <description>username to use against metastore database</description> </property> <property> <name>javax.jdo.option.ConnectionPassword</name> <value>root</value> <description>password to use against metastore database</description> </property> </configuration>

10、下载 mysql 驱动包，将相干依赖 jar 包导入到 /hive/lib 文件夹下

下载地址：https://dev.mysql.com/downloads/file/?id=496585

mysql 5.7 用 8.0 版本的驱动能够，5.1 版本也能够

配置结束，启动 Hive，出工。