hdfs高容错机制
总结以上链接内容
针对3种故障,别离对应多种措施
节点失败
- 若namenode真的故障,凉凉,在非高可用的版本下整个集群挂掉
- 若datanode故障,可通过每3秒的向namenode发送的心跳信号来检测是否失常工作,10分钟都没收到那么就视为挂掉了
网络故障
- 通信时任何一次音讯发送都会期待确认帧ack,未收到则阐明故障了
数据损坏
- 每次进行数据发送会随同一个总的校验码,校验码随数据一起存储,能够用来鉴定数据,在下一次须要对该块数据进行工作时,会取出数据及校验码校验后向namenode汇报,对于有故障的块会综合剖析进行还原