关于hadoop:hdfs高容错实现

27次阅读

共计 264 个字符,预计需要花费 1 分钟才能阅读完成。

hdfs 高容错机制

总结以上链接内容

  • 针对 3 种故障,别离对应多种措施

    • 节点失败

      • 若 namenode 真的故障,凉凉,在非高可用的版本下整个集群挂掉
      • 若 datanode 故障,可通过每 3 秒的向 namenode 发送的心跳信号来检测是否失常工作,10 分钟都没收到那么就视为挂掉了
    • 网络故障

      • 通信时任何一次音讯发送都会期待确认帧 ack,未收到则阐明故障了
    • 数据损坏

      • 每次进行数据发送会随同一个总的校验码,校验码随数据一起存储,能够用来鉴定数据,在下一次须要对该块数据进行工作时,会取出数据及校验码校验后向 namenode 汇报,对于有故障的块会综合剖析进行还原
正文完
 0