分类: 大数据
-
关于大数据:搭建Hadoop272和Hive233以及Spark312
Hadoop是一个用Java编写的Apache开源框架,容许应用简略的编程模型跨计算机集群分布式解决大型数据集…
-
关于大数据:大数据开发之Yarn和Spark-UI界面获取的方法
一、Yarn以获取Yarn界面队列信息为例:1. 接口(HTTP Request)http://ip:port…
-
关于大数据:大数据开发Hive中-ORC-存储格式分析
文件是可切分(Split)的。因而,在Hive中应用ORC作为表的文件存储格局,不仅节俭HDFS存储资源,查问…
-
关于大数据:Hive面试题之连续登录行转列和列转行分析
计划一1.先把数据依照用户id分组,依据登录日期排序SQL:SELECT id, login_date, ro…
-
关于大数据:大数据开发中相关HDFS的这几个问题应该知道
a. Namenode发现集群中的block失落率达到肯定比例时(默认0.01%),大数据培训Namenode…
-
关于大数据:大数据开发中HBase高级特性和rowkey设计分析
大数据培训学习过程中,常常会应用到HBase高级个性,在论述HBase高级个性和热点问题解决前,首先回顾一下H…
-
关于大数据:大数据开发技术之Spark-RDD详解与依赖关系
RDD(Resilient Distributed Datasets)弹性的分布式数据集,又称Spark co…
-
关于大数据:Superior-Scheduler带你了解FusionInsight-MRS的超级调度器
摘要:Superior Scheduler是一个专门为Hadoop YARN分布式资源管理零碎设计的调度引擎,…
-
关于大数据:大数据开发之如何处理Kafka集群消息积压问题
通常状况下,企业中会采取轮询或者随机的形式,通过Kafka的producer向Kafka集群生产数据,来尽可能…
-
关于大数据:智能大数据专场百度智能云带来智能大数据产品架构全景图
9月28日,百度智能云2021“云智技术论坛”智能大数据专场在上海胜利举办。本次会议以“云智一体,让大数据施展…