笔者是在Centos7.3上安装的hadoop,使用的是hadoop-3.2的版本。直接按照hadoop-2.9文档安装即可。

产生背景: {代码…} Hive底层执行引擎支持:MR/Tez/SparkHive体系架构: {代码…} Hive部署架构： {代码…} Hive与RBDMS的区别: {代码…}

执行hive统计sql即可这边使用COUNT(1)和COUNT(*)都不起作用，统计出来是0.只能使用COUNT(字段)。应该跟映射机制有关系。 SELECT COUNT(ID) FROM LJKTEST;

当向分区写入数据或刷分区的时候，报出这个异常。网上的说的办法有很多，综合起来就两个，这有点像小霸王的游戏卡，300合1 其实就是4合1一种是设置MySQL库的字符集为latin1，我的库里本来就是latin1，我还是又设…

比较常用的场景是从MySQL等RDB同步到Hive、Hbase或者将Hive、Hbase的数据导出到MySQL

hive中shuffle的优化 压缩压缩可以使磁盘上存储的数据量变小，通过降低I/O来提高查询速度。 对hive产生的一系列MR中间过程启用压缩 {代码…} 对最终输出结果压缩（写到hdfs、本地磁盘的文件） {代码…}

错误原因：两个表join的时候，不支持两个表的字段的 非相等 操作。 解决办法：1、把不相等条件拿到where语句中 {代码…} 可以改写成 {代码…} 2、如果第一中方法不适用，可以在select字段中判断 {代码…} 欢迎…

Hive是由Facebook开发的构建在Hadoop之上的数据仓库平台。它本身并不存储和处理数据，依赖于HDFS存储数据，依赖MR处理数据。而hive提供了一个类似sql的查询语言HiveQL来进行查询、变换数据等操作。当然HiveQL语句…

​ hive介绍 由Facebook开源的,用于解决海量结构化日志的数据统计的项目 本质: 将HQL转化为MapReduce程序 Hive的其实时HDFS上的目录和文件 ​ Hive的安装模式 嵌入模式元数据信息被保存在自带的Deybe数据库中 只允…

有这么一个场景，我们有两个Hive集群，Hive集群1（后面成为1号集群）是一直专享于数据计算平台的，而Hive集群2（后面成为2号集群）是用于其他团队使用的，比如特征，广告等。而由此存在两个主要问题：a) 两个Hive…