最近在针对某零碎进行性能优化时，发现了一个hive on spark 模式下应用 HikariCP 数据库连接池造成的资源泄露问题，该问题具备普适性，故顺便拿进去跟大家分…

hive 作业的性能优化是一个永恒的话题，其优化办法也有很多，在此分享一个优化点，即编写 SQL 时应用公共表表达式 CTE 替换长期表，经测试优化成果还不错，尤…

谓词下推（Predicate Pushdown，简称PPD），是指尽量将SQL查问中的谓词（where条件）提前执行，缩小后续操作的数量和计算量。在Hive中默认是开启的，也能够通…

hive on spark就是应用hive记录元数据，以及解析sql。应用spark的rdd真正执行计算工作。hdfs负责存储spark负责执行hive负责数据管理

某业务零碎中，HIVE SQL 以 hive on spark 模式运行在 yarn上指定的资源队列下，在业务高峰期发现局部 SQL 会报错，但重试有时又可能胜利。作业具体报错信息…

如何更改 datax 以反对hive 的 DECIMAL 数据类型?1. JAVA 数据类型 – float/double 与 BigDecimal大家晓得，JAVA中能够用来存储小数的数字类型，次要包含：基…

hive 的元数据服务 hms 和表底层的 orc 文件中都存储了表的元数据信息，两者人造是割裂的，当两者信息不统一时，容易呈现各种奇怪的数据问题；

随着大数据业务的倒退，基于 Hive 的数仓体系逐步难以满足日益增长的业务需要，一方面已有很大体量的用户，然而在实时性，功能性上重大缺失；另一方面 Hudi，…

大家晓得，在生产环境的大数据集群中，在向资源管理器YARN提交作业时，咱们个别会将作业提交到管理员指定的队列去执行，以利用 YARN 队列的资源隔离性确保作…

始终能在网上看到很多小视频和小文章，上来就讲sql优化，要用 group by，不要用 distinct，然而事实果然是 group by 优于 distinct 吗？对所有数据库和查问引…