两个外围 namenode与datanodenamenode：治理datanode，相似仓库管理员，治理元数据信息，有单点故障问题datanode：存储数据的节点，数据寄存具备备份。1.保留具体的block数据，2.负责数据的读写操作和复制操作3.DataNode启动会想NameNode报告以后存储的block信息，4.DataNode之间会进行通信（RPC），保证数据的冗余性Sec…

NameNode(nn): 存储文件的元数据. 比方文件名, 文件目录构造, 文件属性(生成工夫, 正本数, 文件权限), 以及每个文件的块列表和块所在的DataNode等

HIVE是一个数据仓库，该仓库基于hadoop框架，能够将存在hdfs上的结构化数据文件映射为一张数据库表。HIVE能够应用类SQL语句来解决结构化数据（查问数据），也即是把结构化数据当成一张类mysql中的表，采纳SQL语句查问。

HDFS：hadoop集群分布式文件系统，用来存储海量数据。HDFS采纳分而治之的设计思维，将文件切分为文件块进行存储，存储数据的节点为datanode，存储这些数据具体寄存地位的节点为namenode。HDFS的架构为一主多从，即namenode为主，datanade为从。本文次要介绍HDFS的shell命令，即如何通过命令行对HDFS进行操作。

{代码…} {代码…} {代码…}

原理是把大块数据切碎， 每个碎块复制三份，离开放在三个便宜机上，始终放弃有三块可用的数据互为备份。应用的时候只从其中一个备份读出来，这个碎块数据就有了。 存数据的叫datenode（格子间），治理datenode的叫namenode（执伞人）。

本文源码：GitHub·点这里 || GitEE·点这里一、工作机制1、根底形容DataNode上数据块以文件模式存储在磁盘上，包含两个文件，一个是数据自身，一个是数据块元数据包含长度、校验、工夫戳；DataNode启动后向NameNode服务注册，并周期性的向NameNode上报所有的数据块元数据信息；DataNode与NameNode之间存在心跳机制，每3秒…

一、大数据概念次要解决海量数据的存储和数据分析计算的问题8bite =1 Byte,1k=1024Byte,Bite Byte KB MB,GB,TB,PB,EB,ZB,YB,BB,NB,DB大数据特点：Volume 大量 (局部企业数据量达EB)Velocity 高速（数据处理效率要高）Variety 多样。（结构化+非结构化）value 低价值密度二、从hadoop框架探讨大数据生态Hadoophadoop的初…

NameNode运行时元数据须要寄存在内存中，同时在磁盘中备份元数据的fsImage，当元数据有更新或者增加元数据时，批改内存中的元数据会把操作记录追加到edits日志文件中，这里不包含查问操作。如果NameNode节点产生故障，能够通过FsImage和Edits的合并，从新把元数据加载到内存中，此时SecondaryNameNode专门用于fsImage和e…

本文源码：GitHub·点这里 || GitEE·点这里一、读写机制1、数据写入客户端拜访NameNode申请上传文件；NameNode查看指标文件和目录是否曾经存在；NameNode响应客户端是否能够上传；客户端申请NameNode文件块Block01上传服务地位；NameNode响应返回3个DataNode节点；客户端通过输出流建设DataNode01传输通道；DataNode01调…