Category: hadoop

Hadoop篇08Hadoop数据压缩 0

Hadoop篇08Hadoop数据压缩

​ 压缩技术能够有效减少底层存储系统(HDFS)读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop下,尤其是数据规模很大和工作负载密集的情况下,使用数据压缩显得非常重要。在这种情况下,IO操作和网络数据传输要花大量的时间。还有, Shuffle与 Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是 Had…

软件工具篇01如何用思维导图构建自己的知识体系 0

软件工具篇01如何用思维导图构建自己的知识体系

大脑的思考方式是放射性的,我们能思考总是先关注一个点,然后从这个点映射出去到其他知识点,从而来获得灵感解决问题,但这种映射可能不够全面,因为我们对知识点还不够熟悉,或者是遗忘了这些知识点,所以我们就需要思维导图来帮助我们进行知识点集合的关系构建,还有进行记录,当我们需要某方面的灵感时候,打开思维…

Hadoop篇07Hadoop集群脚本编写 0

Hadoop篇07Hadoop集群脚本编写

应用场景如下:比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上 那么可以使用rsync命令分发单个文件,也可以使用如下脚本分发文件夹或者文件

Hadoop篇06Hadoop源码编译 0

Hadoop篇06Hadoop源码编译

没有谁必须要帮助你,任何事情都得靠自己去完成 Hadoop源码编译 准备工作 (1)CentOS联网 {代码…} (2)jar包准备(hadoop源码、JDK8、maven、ant 、protobuf) {代码…} 编译工具安装 (1)安装JDK {代码…} (2)Maven解压、配置 MAVEN_HOME和PATH {代码…} (3)配置ANT {代码…} (4)安装 glibc-headers 和 g+…

Hadoop篇04Hadoop配置日志聚集 0

Hadoop篇04Hadoop配置日志聚集

​ 成长这一路就是懂得闭嘴努力,知道低调谦逊,学会强大自己,在每一个值得珍惜的日子里,拼命去成为自己想成为的人 Hadoop配置日志聚集 应用场景 为了让应用运行完成以后,将程序运行日志信息上传到HDFS系统上,有了日志之后就可以查看程序中的报错信息,从而调试程序 配置步骤 1.配置yarn-site.xml {代码…} 2.重启集…

Hadoop篇05Hadoop配置集群时间同步 0

Hadoop篇05Hadoop配置集群时间同步

做任何事都要经受得挫折,要有恒心和毅力,满怀信心坚持到底 Hadoop配置集群事件同步 时间同步方式 找一台机器,作为时间服务器,所有的机器与这台集群时间进行定时的同步,比如,每隔十分钟,同步一次时间 配置时间同步步骤 1.时间服务器配置(必须root用户) {代码…} 2.修改ntp配置文件 {代码…} 3.修改/etc/syscon…

2020版冲刺年薪30W超全大数据学习路线思维导图 0

2020版冲刺年薪30W超全大数据学习路线思维导图

​ 下面和大家讲一下大数据学习的路线,帮助大家快速进入大数据行业。我会结合自己的实际经历还说明学习路线。该路线针对的对象是零基础小白,目标是到初中级大数据工程师,要求掌握数据建模,数据存储,数据存储,数据传输,数据分析等能力达到大数据岗位的应聘标准。

Hadoop篇03Hadoop配置历史服务 0

Hadoop篇03Hadoop配置历史服务

天空才是你的极限 Hadoop配置历史服务器 应用场景 为了查看运行过程序的情况,因此需要配置历史服务器 配置步骤 1.配置mapred-site.xml {代码…} 2.启动历史服务器 {代码…} 3.查看历史服务器进程 {代码…} 4.Web端查看 {代码…} 相关资料 本文配套GitHub:[链接]本文配套公众号:FocusBigData 回复【大数据面经】【…

Hadoop篇02Hadoop完全分布式环境搭建 0

Hadoop篇02Hadoop完全分布式环境搭建

应用场景如下:比如有三台主机master1,slave1,slave2如果简历完全分布式的集群就需要将文件从master1拷贝到slave从机上 那么可以使用rsync命令分发单个文件,也可以使用如下脚本分发文件夹或者文件

Hadoop篇01Hadoop本地模式环境搭建 0

Hadoop篇01Hadoop本地模式环境搭建

生命中真正重要的不是你遭遇了什么,而是你记住了哪些事,又是如何铭记的 Hadoop本地模式环境搭建 一.准备虚拟机环境 (1)克隆虚拟机 {代码…} (2)修改主机名 {代码…} (3)配置IP为静态IP {代码…} (4)配置ip和域名之间的映射 (5)创建用户, 并设置密码 {代码…} (6)给用户配置具有root权限 {代码…} (7…