这里mac和windows不太一样, 理解到windows装置虚拟机应用的是vmware workstation, 然而mac应用的是vmware fusion

面向开发者和中小企业打造的一站式、全云端的开发平台，关上浏览器就能够开发、调试、上线，所测即所得，并联合无服务器的模式，从新定义云原生时代的研发工作方法论。旨在升高开发者上手老本和中小企业的启动老本、经营老本、以及突发流量带来的运维危险。

Hadoop在大数据技术体系中极为重要，被誉为是扭转世界的7个Java我的项目之一（剩下6个是Junit、Eclipse、Spring、Solr、HudsonAndJenkins、Android），本篇文章以Hadoop 3.3.0官网文档为根底，首先会介绍Hadoop相干术语，包含HDFS，MapReduce等，接着会残缺形容Hadoop的搭建过程，包含本地以及分布式集群的搭建。

上一篇文章介绍了如何应用虚拟机搭建集群，到了这篇文章就是实战了，应用实在的三台不同服务器进行Hadoop集群的搭建。具体步骤其实与虚拟机的差不多，然而因为平安组以及端口等等一些列的问题，会与虚拟机有所不同，废话不多说，上面正式开始。

齐全分布模式是比本地模式与伪分布模式更加简单的模式，真正利用多台Linux主机来进行部署Hadoop，对集群进行布局，使得Hadoop各个模块别离部署在不同的多台机器上，这篇文章介绍的是通过三台虚拟机进行集群配置的形式，次要步骤为：

1 伪分布模式伪分布模式是运行在单个节点以及多个Java过程上的模式。相比起本地模式，须要进行更多配置文件的设置以及ssh、YARN相干设置。2 Hadoop配置文件批改Hadoop装置目录下的三个配置文件：etc/hadoop/core-site.xmletc/hadoop/hdfs-site.xmletc/hadoop/hadoop-env.sh2.1 core-site.xml首先批改core-site.xml： {代…

笔者喜爱把JDK放在/usr/local下，运行前请确保设置了JAVA_HOME，留神是在etc/hadoop/hadoop-env.sh中设置：

Hue: Hadoop User Experience 环境 {代码…} qbit 参照这两篇 Hue文档搞了很久都没配好：文档一，文档二 文档编写者预计没思考到独立经营的 AWS 中国区用户的痛 搞明确了也简略，就是在官网文档的根底上还得配置 host 参数 摘录配置如下 {代码…} 最初放张图吧 本文出自 qbit snap

​ 压缩技术能够有效减少底层存储系统（HDFS）读写字节数。压缩提高了网络带宽和磁盘空间的效率。在 Hadoop下，尤其是数据规模很大和工作负载密集的情况下，使用数据压缩显得非常重要。在这种情况下，IO操作和网络数据传输要花大量的时间。还有， Shuffle与 Merge过程同样也面临着巨大的IO压力鳘于磁盘IO和网络带宽是 Had…

大脑的思考方式是放射性的，我们能思考总是先关注一个点，然后从这个点映射出去到其他知识点，从而来获得灵感解决问题，但这种映射可能不够全面，因为我们对知识点还不够熟悉，或者是遗忘了这些知识点，所以我们就需要思维导图来帮助我们进行知识点集合的关系构建，还有进行记录，当我们需要某方面的灵感时候，打开思维…