关于云计算:从容应对1111大促-京东智联云云硬盘做对了哪些事

0次阅读

共计 2193 个字符,预计需要花费 6 分钟才能阅读完成。

云妹导读:

经验屡次 618,11.11 的洗礼,京东智联云作为京东团体技术保障的基石,一直通过技术上的翻新,无效撑持了京东 11.11 海量并发,保障业务零碎安稳运行。其中,云硬盘作为云平台最外围的根底资源之一,为云主机提供低时延、持久性、高可用的块存储。在京东 618 大促期间,累计应用云盘近 3 万块,总数据量近 5PB,从容应对了大促的业务峰值压力。在刚刚过来的京东 11.11,随同着累计下单金额再创纪录,数据量也大幅增长,云硬盘业务又一次为大促的顺利进行提供了无力保障。

一次次为京东大促提供超高稳定性的背地,京东智联云云硬盘做了哪些工作?本篇文章就带大家揭秘京东智联云云硬盘。

京东智联云在研发云硬盘时放弃开源走全自研路线,外围业务自主可控,在_性能 _、_ 性能 _、_ 稳定性_几个方面下足了功夫。通过几年的倒退,用户从狐疑、测试、到上线上量,京东智联云云硬盘内部客户用量曾经超过外部客户。

云硬盘承接的业务也出现多样性,包含物流、广告、AI、在线教育、游戏、大数据、直播等泛滥业务,都长期稳固运行在云硬盘之上。云硬盘提供的_极致稳定性 _、_ 可用性 _、_ 泛滥的数据管理性能_给下层业务带来了极大便当。同时,其_99.99999%_的数据可靠性,保障业务永不停机,让数据永远在线。

一、云硬盘基础架构解析

京东智联云云盘以 Raft 协定为根底,依据理论业务需要部分改良,数据采纳三正本强统一实现形式。管制面为集中式治理,数据面为分布式。集中式能让咱们对集群有更强的控制权,资源利用率更充沛,并且在面对大面积故障状况下,咱们能无效管制故障域。云硬盘集群分为_客户端 _、_ 治理节点 _、_ 存储节点_等几大组件。治理节点负责管理后端集群容量,状态的监控、变更。存储节点负责三正本数据长久化存储。设施部署在不同机架,故障域隔离。客户端采纳公有协定,部署在计算节点被计算资源调用,反对容器、虚拟机、物理机拜访。

存储的外围是_对资源的精密治理_,云盘设计之初就秉承稳定性第一的理念,采纳防御性代码设计,防患故障于未然。小故障在数据中心大规模条件下已是常态。磁盘故障,内存损坏,网卡错包,交换机丢包,机架掉电,RAID 卡异样,运维失误等在代码设计层面做了无效的防护解决。

用户卷被创立后,卷数据被切片为小块的正本组。正本组为最小单元,均匀分布在不同的物理机架上。正本组内有_Leader_,_Follower_,_Follower_三种角色。Leader 负责承接用户 IO,同步 Follower 数据。当故障或者负载平衡时状态产生变更,Leader 在三正本之间切换。切换的工夫能够依据用户业务配置,业务无感知。机架掉电,交换机故障等状况下,任意正本可能损坏,然而其它两正本数据残缺,数据正确性和可用性失去保障。Leader 负责在后盾把数据同步到新的 follower 补齐,集群复原为失常状态。

二,数据缓存

数据缓存技术能够升高 IO 延时,京东智联云云盘以 NVME 盘为数据缓存,客户端申请落 NVME 盘后立刻返回,后盾依据数据冷热水平搬移数据长久化。业务读写申请有局部性,调优的缓存算法无效缓存用户热点数据,进步性能。NVME 盘的低提早和长久化存储,让云盘既保证性能又保障了数据的可靠性。

云盘后端具备静默数据扫描性能,局部用户数据写入磁盘后长期不拜访,数据就会从热数据变成冷数据。云盘后盾将进行定期扫描,确认校验以及三正本一致性,发现问题及时修复数据。如果同时搭配文件和对象存储,还可实现冷数据转存,为用户节俭费用。

三、镜像秒级启动

京东智联云云盘快照备份数据,采纳_增量快照的实现形式。_数据寄存在对象存储,整个可用区共享,快照可跨区复制。快照反对按策略运行,用户可依据需要制订快照策略,定时备份数据。

同时,京东智联云云盘快照反对提早加载,拜访时加载数据。基于提早加载技术,可秒级快照创立批量云盘。在视频渲染批量创立主机场景中失去大量利用。对象存储跨 AZ 部署,拜访延时偏高,在提早读取的过程中,为了晋升读取性能,咱们反对快照预热加载性能,提前把快照数据拉取到本地缓存,镜像批量疾速启动。

四、智能网卡技术

智能网卡技术能够_卸载存储网络晋升性能,开释 CPU 资源。_智能网卡极大升高网络存储给虚拟主机带来的影响。网卡外部具备硬件卸载模块,数据从 VM 卸载到智能网卡上无需物理机 CPU 参加,配合云硬盘客户端数据 RDMA 转发到后端存储,全过程数据零拷贝,更低的延时,更好的 TP99 指标。满足高性能数据库,低时延 I / O 密集型利用场景。

随着云计算技术的演进,存储技术也在一直倒退变动,从本地存储到共享存储,从公有云到私有用,再到交融云。业务的更高需要给存储行业带来了新的压力和挑战,京东智联云存储紧跟行业步调,技术上继续进行投入,在_介质 _,_ 网络 _,_ 高效软件栈_等方面,陆续会推出更强性能,更低成本,更高稳定性的存储产品。

如果你对云存储如何选型还比拟犯难,能够点击以下链接回顾精彩内容:

送你 4 句口诀 云存储选型不再犯难

举荐浏览:

  • 11.11TECH TALK | 揭秘 11.11 监控排障利器 京东高稳固日志服务深度解析
  • 11.11 TECK TALK | 京东千亿订单背地的纵深平安进攻体系
  • 11.11 TECK TALK | 媲美物理机 裸金属云主机极致性能轻松应答 11.11 大促

欢送点击【京东智联云】,理解开发者社区

更多精彩技术实际与独家干货解析

欢送关注【京东智联云开发者】公众

正文完
 0