共计 4264 个字符,预计需要花费 11 分钟才能阅读完成。
作者:韩信子 @ShowMeAI
教程地址:http://www.showmeai.tech/tutorials/84
本文地址:http://www.showmeai.tech/article-detail/168
申明:版权所有,转载请分割平台与作者并注明出处
1.Hadoop 疾速入门
1)Hadoop 简介
Hadoop 是 Apache 软件基金会旗下的一个开源分布式计算平台,为用户提供了零碎底层细节通明的分布式基础架构。
- Hadoop 是基于 Java 语言开发的,具备很好的跨平台个性,并且能够部署在便宜的计算机集群中;
- Hadoop 的外围是分布式文件系统 HDFS(Hadoop Distributed File System)和 MapReduce;
- Hadoop 被公认为行业大数据规范开源软件,在分布式环境下提供了海量数据的解决能力;
- 简直所有支流厂商都围绕 Hadoop 提供开发工具、开源软件、商业化工具和技术服务,如谷歌、微软、字节跳动、美团点评、淘宝等,都反对 Hadoop。
对于 Hadoop 的搭建与利用案例 欢送大家关注 ShowMeAI 下列文章:
- 实操案例 -Hadoop 零碎搭建与环境配置
- 实操案例 - 利用 map-reduce 进行大数据统计
2)Hadoop 倒退简史
Hadoop 当初曾经宽泛地利用在大数据工作中,而它最后其实只是由 Apache Lucene 我的项目的创始人 Doug Cutting 开发的文本搜寻库。上面是它的倒退历程。
- Hadoop 源自始于 2002 年的 Apache Nutch 我的项目——一个开源的网络搜索引擎,也是 Lucene 的一部分。
- 2004 年,Nutch 我的项目也模拟 GFS 开发了本人的分布式文件系统 NDFS(Nutch Distributed File System),也就是 HDFS 的前身。
- 2004 年,谷歌公司又发表了另一篇具备深远影响的论文,论述了 MapReduce 分布式编程思维。
- 2005 年,Nutch 开源实现了谷歌的 MapReduce。
- 2006 年 2 月,Nutch 中的 NDFS 和 MapReduce 开始独立进去,成为 Lucene 我的项目的一个子项目,称为 Hadoop,同时,Doug Cutting 加盟雅虎。
- 2008 年 1 月,Hadoop 正式成为 Apache 顶级我的项目,Hadoop 也逐步开始被雅虎之外的其余公司应用。
- 2008 年 4 月,Hadoop 突破世界纪录,成为最快排序 1TB 数据的零碎,它采纳一个由 910 个节点形成的集群进行运算,排序工夫只用了 209 秒。
- 2009 年 5 月,Hadoop 更是把 1TB 数据排序工夫缩短到 62 秒。
- Hadoop 从此名声大震,迅速倒退成为大数据时代最具影响力的开源分布式开发平台,并成为事实上的大数据处理规范。
2.Hadoop 个性与利用现状
1)Hadoop 个性
Hadoop 是一个可能对大量数据进行分布式解决的软件框架,并且是以一种牢靠、高效、可伸缩的形式进行解决的。它具备以下几个方面的个性:
2)Hadoop 利用现状
Hadoop 凭借其突出的劣势,曾经在各个领域失去了宽泛的利用,而互联网畛域是其利用的主阵地。
- 雅虎 2007 年在 Sunnyvale 总部建设了 M45——一个蕴含了 4000 个处理器和 1.5PB 容量的 Hadoop 集群零碎。
- Facebook 作为寰球出名的社交网站,Hadoop 是十分现实的抉择,Facebook 次要将 Hadoop 平台用于日志解决、举荐零碎和数据仓库等方面。
- 国内支流的互联网及信息公司,包含百度、淘宝、网易、字节、美团点评、华为、中国移动等都采纳了 Hadoop。
3)Hadoop 版本演进
Apache Hadoop 版本分为两代:第一代 Hadoop 称为 Hadoop 1.0,第二代 Hadoop 称为 Hadoop 2.0。
第一代 Hadoop 蕴含三个大版本,别离是 0.20.x、0.21.x、0.22.x。
- 0.20.x 最初演化成 1.0.x,变成了稳定版。
- 0.21.x 和 0.22.x 则减少了 NameNode HA 等新的重大个性。
第二代 Hadoop 蕴含两个大版本,别离是 0.23.x、2.x。
- 它们齐全不同于 Hadoop 1.0,是一套全新的架构,均蕴含 HDFS Federation 和 YARN 两个零碎。
- 相比于 0.23.x,2.x 减少了 NameNode HA 和 Wire-compatibility 两个重大个性。
3.Hadoop 生态我的项目架构
如上图列举了 Hadoop 生态的我的项目架构,蕴含以下组件,层级构造与外围性能见图。
组件 | 性能 |
---|---|
HDFS | 分布式文件系统 |
MapReduce | 分布式并行编程模型 |
YARN | 资源管理和调度器 |
Tez | 运行在 YARN 之上的下一代 Hadoop 查询处理框架 |
Hive | Hadoop 上的数据仓库 |
HBase | Hadoop 上的非关系型的分布式数据库 |
Pig | 一个基于 Hadoop 的大规模数据分析平台,提供相似 SQL 的查询语言 Pig Latin |
Sqoop | 用于在 Hadoop 与传统数据库之间进行数据传递 |
Oozie | Hadoop 上的工作流管理系统 |
Zookeeper | 提供分布式协调一致性服务 |
Storm | 流计算框架 |
Flume | 一个高可用的,高牢靠的,分布式的海量日志采集、聚合和传输的零碎 |
Ambari | Hadoop 疾速部署工具,反对 Apache Hadoop 集群的供给、治理和监控 |
Kafka | 一种高吞吐量的分布式公布订阅音讯零碎,能够解决消费者规模的网站中的所有动作流数据 |
Spark | 相似于 Hadoop MapReduce 的通用并行框架 |
4.HDFS 介绍
1)分布式文件系统
分布式文件系统,把文件散布存储到多个计算机节点上,成千上万的计算机节点形成计算机集群。与之前应用多个处理器和专用高级硬件的并行化解决安装不同的是,目前的分布式文件系统所采纳的计算机集群,都是由一般硬件形成的,这就大大降低了硬件上的开销。
2)HDFS 的长处与局限
总体而言,HDFS 要实现以下指标:
- 兼容便宜的硬件设施
- 流数据读写
- 大数据集
- 简略的文件模型
- 弱小的跨平台兼容性
HDFS 非凡的设计,在实现上述低劣个性的同时,也使得本身具备一些利用局限性,次要包含以下几个方面:
- 不适宜低提早数据拜访
- 无奈高效存储大量小文件
- 不反对多用户写入及任意批改文件
3)HDFS 块及其劣势
块(Block):HDFS 默认一个块 64MB,一个文件被分成多个块,以块作为存储单位。块的大小远远大于一般文件系统,能够最小化寻址开销。
HDFS 采纳形象的块概念能够带来以下几个显著的益处:
- 反对大规模文件存储 :文件以块为单位进行存储,一个大规模文件能够被分拆成若干个文件块,不同的文件块能够被散发到不同的节点上,因而,一个文件的大小不会受到单个节点的存储容量的限度,能够远远大于网络中任意节点的存储容量。
- 简化零碎设计 :首先,大大简化了存储管理,因为文件块大小是固定的,这样就能够很容易计算出一个节点能够存储多少文件块;其次,不便了元数据的治理,元数据不须要和文件块一起存储,能够由其余零碎负责管理元数据。
- 适宜数据备份 :每个文件块都能够冗余存储到多个节点上,大大提高了零碎的容错性和可用性。
4)HDFS 次要组件的性能
HDFS 蕴含 Name Node 和 Data Node,具体的性能和特点比照如上图所示。
Name Node | Data Node |
---|---|
存储元数据 | 存储文件内容 |
元数据保留在内存中 | 文件内容保留在磁盘 |
保留文件、block、datanode 之间的映射关系 | 保护了 block id 到 datanode 本地文件的映射关系 |
5.Map-Reduce 分布式数据处理
HDFS 很好地解决了分布式文件存储的问题,而 hadoop 利用一套 Map-Reduce 的计算框架,也解决了大数据处理的难题。上面整顿了大数据计算所面对的问题,以及一些解决思路(也是 map-reduce 的核心思想)。
咱们前面的内容会以实操的形式,带大家一起看 hadoop 的组件与 Map-Reduce 利用的案例,这里大家先做一个简略理解,具体的利用实操接着看 ShowMeAI 后续内容哦~
集群计算面对的问题 & 计划
问题 1:节点故障 。如何保持数据的持续性,即在某些节点故障的情景下不影响仍旧可能应用数据?在运行工夫较长的集群运算中,如何应答节点故障呢?
解决办法 :在多节点上冗余地存储数据。分布式文件存储系统提供全局的文件命名空间,冗余度和可获取性。例如:Google 的 GFS、Hadoop 的 HDFS。
问题 2:网络带宽瓶颈 。
解决办法 :数据以“块状”模式在多台机器上存储。每个数据块都会反复地在多台机器上存储,保证数据的持续性和随时可取性。
问题 3:分布式编程非常复杂 。须要一个简略的模型可能隐去所有的复杂性。
解决办法 :简略的程序模型暗藏所有的复杂度。
6. 参考资料
- [美] 汤姆,怀特(Tom White),《Hadoop 权威指南:大数据的存储与剖析 (第 4 版)》,清华大学出版社,2017
- [美] Donald Miner,Adam Shook 著,《MapReduce 设计模式》,人民邮电出版社,2014
- Hadoop 集群搭建教程(具体): https://blog.csdn.net/fanxin\_i/article/details/80425461
- 总结:具体解说 MapReduce 过程(整顿补充): https://blog.csdn.net/mrlevo520/article/details/76781186
ShowMeAI 相干文章举荐
- 图解大数据 | 导论:大数据生态与利用
- 图解大数据 | 分布式平台:Hadoop 与 Map-reduce 详解
- 图解大数据 | 实操案例:利用 map-reduce 进行大数据统计
- 图解大数据 | 实操案例:Hive 搭建与利用案例
- 图解大数据 | 海量数据库与查问:Hive 与 HBase 详解
- 图解大数据 | 大数据分析开掘框架:Spark 初步
- 图解大数据 | Spark 操作:基于 RDD 的大数据处理剖析
- 图解大数据 | Spark 操作:基于 Dataframe 与 SQL 的大数据处理剖析
- 图解大数据 | 综合案例:应用 spark 剖析美国新冠肺炎疫情数据
- 图解大数据 | 综合案例:应用 Spark 剖析开掘批发交易数据
- 图解大数据 | 综合案例:应用 Spark 剖析开掘音乐专辑数据
- 图解大数据 | 流式数据处理:Spark Streaming
- 图解大数据 | Spark 机器学习 (上)- 工作流与特色工程
- 图解大数据 | Spark 机器学习 (下)- 建模与超参调优
- 图解大数据 | Spark GraphFrames:基于图的数据分析开掘
ShowMeAI 系列教程举荐
- 图解 Python 编程:从入门到精通系列教程
- 图解数据分析:从入门到精通系列教程
- 图解 AI 数学根底:从入门到精通系列教程
- 图解大数据技术:从入门到精通系列教程