作者：韩信子 @ShowMeAI
教程地址：http://www.showmeai.tech/tutorials/84
本文地址：http://www.showmeai.tech/article-detail/168
申明：版权所有，转载请分割平台与作者并注明出处

1.Hadoop 疾速入门

1）Hadoop 简介

Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台，为用户提供了零碎底层细节通明的分布式基础架构。

• Hadoop 是基于 Java 语言开发的，具备很好的跨平台个性，并且能够部署在便宜的计算机集群中；
• Hadoop 的外围是分布式文件系统 HDFS（Hadoop Distributed File System）和 MapReduce；
• Hadoop 被公认为行业大数据规范开源软件，在分布式环境下提供了海量数据的解决能力；
• 简直所有支流厂商都围绕 Hadoop 提供开发工具、开源软件、商业化工具和技术服务，如谷歌、微软、字节跳动、美团点评、淘宝等，都反对 Hadoop。

对于 Hadoop 的搭建与利用案例 欢送大家关注 ShowMeAI 下列文章：

• 实操案例 -Hadoop 零碎搭建与环境配置
• 实操案例 - 利用 map-reduce 进行大数据统计

2）Hadoop 倒退简史

Hadoop 当初曾经宽泛地利用在大数据工作中，而它最后其实只是由 Apache Lucene 我的项目的创始人 Doug Cutting 开发的文本搜寻库。上面是它的倒退历程。

• Hadoop 源自始于 2002 年的 Apache Nutch 我的项目——一个开源的网络搜索引擎，也是 Lucene 的一部分。
• 2004 年，Nutch 我的项目也模拟 GFS 开发了本人的分布式文件系统 NDFS（Nutch Distributed File System），也就是 HDFS 的前身。
• 2004 年，谷歌公司又发表了另一篇具备深远影响的论文，论述了 MapReduce 分布式编程思维。
• 2005 年，Nutch 开源实现了谷歌的 MapReduce。
• 2006 年 2 月，Nutch 中的 NDFS 和 MapReduce 开始独立进去，成为 Lucene 我的项目的一个子项目，称为 Hadoop，同时，Doug Cutting 加盟雅虎。
• 2008 年 1 月，Hadoop 正式成为 Apache 顶级我的项目，Hadoop 也逐步开始被雅虎之外的其余公司应用。
• 2008 年 4 月，Hadoop 突破世界纪录，成为最快排序 1TB 数据的零碎，它采纳一个由 910 个节点形成的集群进行运算，排序工夫只用了 209 秒。
• 2009 年 5 月，Hadoop 更是把 1TB 数据排序工夫缩短到 62 秒。
• Hadoop 从此名声大震，迅速倒退成为大数据时代最具影响力的开源分布式开发平台，并成为事实上的大数据处理规范。

2.Hadoop 个性与利用现状

1）Hadoop 个性

Hadoop 是一个可能对大量数据进行分布式解决的软件框架，并且是以一种牢靠、高效、可伸缩的形式进行解决的。它具备以下几个方面的个性：

2）Hadoop 利用现状

Hadoop 凭借其突出的劣势，曾经在各个领域失去了宽泛的利用，而互联网畛域是其利用的主阵地。

• 雅虎 2007 年在 Sunnyvale 总部建设了 M45——一个蕴含了 4000 个处理器和 1.5PB 容量的 Hadoop 集群零碎。
• Facebook 作为寰球出名的社交网站，Hadoop 是十分现实的抉择，Facebook 次要将 Hadoop 平台用于日志解决、举荐零碎和数据仓库等方面。
• 国内支流的互联网及信息公司，包含百度、淘宝、网易、字节、美团点评、华为、中国移动等都采纳了 Hadoop。

3）Hadoop 版本演进

Apache Hadoop 版本分为两代：第一代 Hadoop 称为 Hadoop 1.0，第二代 Hadoop 称为 Hadoop 2.0。

第一代 Hadoop 蕴含三个大版本，别离是 0.20.x、0.21.x、0.22.x。

• 0.20.x 最初演化成 1.0.x，变成了稳定版。
• 0.21.x 和 0.22.x 则减少了 NameNode HA 等新的重大个性。

第二代 Hadoop 蕴含两个大版本，别离是 0.23.x、2.x。

• 它们齐全不同于 Hadoop 1.0，是一套全新的架构，均蕴含 HDFS Federation 和 YARN 两个零碎。
• 相比于 0.23.x，2.x 减少了 NameNode HA 和 Wire-compatibility 两个重大个性。

3.Hadoop 生态我的项目架构

如上图列举了 Hadoop 生态的我的项目架构，蕴含以下组件，层级构造与外围性能见图。

4.HDFS 介绍

1）分布式文件系统

分布式文件系统，把文件散布存储到多个计算机节点上，成千上万的计算机节点形成计算机集群。与之前应用多个处理器和专用高级硬件的并行化解决安装不同的是，目前的分布式文件系统所采纳的计算机集群，都是由一般硬件形成的，这就大大降低了硬件上的开销。

2）HDFS 的长处与局限

总体而言，HDFS 要实现以下指标：

• 兼容便宜的硬件设施
• 流数据读写
• 大数据集
• 简略的文件模型
• 弱小的跨平台兼容性

HDFS 非凡的设计，在实现上述低劣个性的同时，也使得本身具备一些利用局限性，次要包含以下几个方面：

• 不适宜低提早数据拜访
• 无奈高效存储大量小文件
• 不反对多用户写入及任意批改文件

3）HDFS 块及其劣势

块（Block）：HDFS 默认一个块 64MB，一个文件被分成多个块，以块作为存储单位。块的大小远远大于一般文件系统，能够最小化寻址开销。

HDFS 采纳形象的块概念能够带来以下几个显著的益处：

• 反对大规模文件存储 ：文件以块为单位进行存储，一个大规模文件能够被分拆成若干个文件块，不同的文件块能够被散发到不同的节点上，因而，一个文件的大小不会受到单个节点的存储容量的限度，能够远远大于网络中任意节点的存储容量。
• 简化零碎设计 ：首先，大大简化了存储管理，因为文件块大小是固定的，这样就能够很容易计算出一个节点能够存储多少文件块；其次，不便了元数据的治理，元数据不须要和文件块一起存储，能够由其余零碎负责管理元数据。
• 适宜数据备份 ：每个文件块都能够冗余存储到多个节点上，大大提高了零碎的容错性和可用性。

4）HDFS 次要组件的性能

HDFS 蕴含 Name Node 和 Data Node，具体的性能和特点比照如上图所示。

5.Map-Reduce 分布式数据处理

HDFS 很好地解决了分布式文件存储的问题，而 hadoop 利用一套 Map-Reduce 的计算框架，也解决了大数据处理的难题。上面整顿了大数据计算所面对的问题，以及一些解决思路（也是 map-reduce 的核心思想）。

咱们前面的内容会以实操的形式，带大家一起看 hadoop 的组件与 Map-Reduce 利用的案例，这里大家先做一个简略理解，具体的利用实操接着看 ShowMeAI 后续内容哦~

集群计算面对的问题 & 计划

问题 1：节点故障 。如何保持数据的持续性，即在某些节点故障的情景下不影响仍旧可能应用数据？在运行工夫较长的集群运算中，如何应答节点故障呢？

解决办法 ：在多节点上冗余地存储数据。分布式文件存储系统提供全局的文件命名空间，冗余度和可获取性。例如：Google 的 GFS、Hadoop 的 HDFS。

问题 2：网络带宽瓶颈 。

解决办法 ：数据以“块状”模式在多台机器上存储。每个数据块都会反复地在多台机器上存储，保证数据的持续性和随时可取性。

问题 3：分布式编程非常复杂 。须要一个简略的模型可能隐去所有的复杂性。

解决办法 ：简略的程序模型暗藏所有的复杂度。

6. 参考资料

• [美] 汤姆，怀特（Tom White），《Hadoop 权威指南：大数据的存储与剖析 (第 4 版)》，清华大学出版社，2017
• [美] Donald Miner，Adam Shook 著，《MapReduce 设计模式》，人民邮电出版社，2014
• Hadoop 集群搭建教程（具体）: https://blog.csdn.net/fanxin\_i/article/details/80425461
• 总结：具体解说 MapReduce 过程（整顿补充）: https://blog.csdn.net/mrlevo520/article/details/76781186

ShowMeAI 相干文章举荐

• 图解大数据 | 导论：大数据生态与利用
• 图解大数据 | 分布式平台：Hadoop 与 Map-reduce 详解
• 图解大数据 | 实操案例：利用 map-reduce 进行大数据统计
• 图解大数据 | 实操案例：Hive 搭建与利用案例
• 图解大数据 | 海量数据库与查问：Hive 与 HBase 详解
• 图解大数据 | 大数据分析开掘框架：Spark 初步
• 图解大数据 | Spark 操作：基于 RDD 的大数据处理剖析
• 图解大数据 | Spark 操作：基于 Dataframe 与 SQL 的大数据处理剖析
• 图解大数据 | 综合案例：应用 spark 剖析美国新冠肺炎疫情数据
• 图解大数据 | 综合案例：应用 Spark 剖析开掘批发交易数据
• 图解大数据 | 综合案例：应用 Spark 剖析开掘音乐专辑数据
• 图解大数据 | 流式数据处理：Spark Streaming
• 图解大数据 | Spark 机器学习 (上)- 工作流与特色工程
• 图解大数据 | Spark 机器学习 (下)- 建模与超参调优
• 图解大数据 | Spark GraphFrames：基于图的数据分析开掘

ShowMeAI 系列教程举荐

• 图解 Python 编程：从入门到精通系列教程
• 图解数据分析：从入门到精通系列教程
• 图解 AI 数学根底：从入门到精通系列教程
• 图解大数据技术：从入门到精通系列教程