相干常识
Hive是大数据技术簇中进行数据仓库利用的根底组件,是其它相似数据仓库利用的比照基准。根底的数据操作咱们能够通过脚本形式以Hive-client进行解决。若须要开发应用程序,则须要应用Hive的JDBC驱动进行连贯。
Hive JDBC驱动连贯分为两种,晚期的是HiveServer,最新的是HiveServer2,前者自身存在很多的问题,如安全性、并发性等,后者很好的解决了诸如安全性和并发性等问题。
零碎环境
Linux Ubuntu 20.04
OpenJDK-11.0.11
hadoop-3.2.2
mysql-8.0.25
工作内容
练习应用JDBC形式连贯Hive,通过java代码操作Hive。
工作步骤
1.首先在Linux本地,新建/data/hive6目录,用于寄存所需文件。
mkdir -p /data/hive6
2.切换到/apps/hive/conf目录下,批改hive-site.xml文件,将以下配置写入
<property>
<name>hive.server2.thrift.port</name>
<value>10000</value>
</property>
<property>
<name>hive.server2.thrift.bind.host</name>
<value>127.0.0.1</value>
</property>
3.切换到/apps/hadoop/sbin目录下,开启Hadoop相干过程
cd /apps/hadoop/sbin
./start-all.sh
4.开启mysql服务
sudo service mysql start
5.切换到/apps/hive目录下,启动hiveserver2
cd /apps/hive
./bin/hive --service hiveserver2
6.另外开启一个终端模拟器,应用netstat命令查看一下10000端口
netstat -nptl | grep 10000
7.切换到/apps/hive/bin目录下,开启beeline
cd /apps/hive/bin
./beeline
8.应用 (!connect jdbc:hive2://ip地址:10000 hiveuser hivepassword )测试是否能够连贯,username和password为创立的用户名(root)和明码(123456)。
!connect jdbc:hive2://127.0.0.1:10000
9.在idea中创立一个我的项目,将hadoop中的配置文件加到resources中
10.增加maven依赖
<dependency>
<groupId>mysql</groupId>
<artifactId>mysql-connector-java</artifactId>
<version>8.0.25</version>
</dependency>
<dependency>
<groupId>org.apache.hive</groupId>
<artifactId>hive-jdbc</artifactId>
<version>2.3.8</version>
</dependency>
package my.study.hive;
import java.sql.Connection;
import java.sql.DriverManager;
import java.sql.SQLException;
import java.sql.Statement;
public class HiveClient {
private static String driverName = "org.apache.hive.jdbc.HiveDriver";
public static void main(String args[]){
try {
Class.forName(driverName);
Connection con = DriverManager.getConnection("jdbc:hive2://localhost:10000/hive", "root", "123456");
Statement st = con.createStatement();
} catch (ClassNotFoundException e) {
e.printStackTrace();
System.exit(1);
}catch (SQLException throwables) {
throwables.printStackTrace();
}
}
}
发表回复