关于数据中心:数据中心大二层网络技术大揭秘

【摘要】传统的三层数据中心，置身虚拟机化的浪潮中，其中改革翻新，就在此篇文章中一窥到底吧。

传统数据中心三层组网架构

政府部门或者金融机构等大型企业的数据中心中服务器的规模可能会达到 2000 台以上。个别状况下，数据中心网络都会进行服务器的分区治理，单个业务分区规模不大，此时能够采纳下图所示的规范三层架构。

 在这种组网形式中，核心层是整个数据中心网络的枢纽，外围设施通常部署 2 - 4 台大容量高端框式交换机，能够是独立部署，也能够通过 CSS、iStack 虚拟化技术后成组部署。分区内的汇聚层和接入层通过传统 CSS、iStack、xSTP 等技术实现二层破环，也可在汇聚层和接入层利用纵向虚拟化技术（如 SVF）实现接入层的简略治理及节点扩大。

为什么采纳这种架构，因为架构成熟（废话），二三层网络技术成熟，部署成熟，也合乎数据中心分区份模块的特点，总体来说，是运行了多年的成熟实惠大礼包，买不到吃亏，买不到受骗。

挑战来了

随着 20 年代初的慢慢远去，网络人能够称心的回忆，他们曾经搞定了网络协议的大部分问题。

但凡能被组件化的，能被分布式的，能被备份的、降级的、平安加固的，从不间断转发（NSF）到不间断路由 (NSR) 最初到不间断服务(NSS)，被性能优化的（各种 FRR），被组网的（局域，广域）。路由（RIP,OSPF，ISIS，BGP）不行加标签（MPLS），标签不行加 VPN 成隧道（GRE，TE，VPLS, VPWS），但凡能做的都做到了，整个网络丁丁当当，忙忙碌碌。提了一堆广泛重要神气的国际标准，RFC 写的整整齐齐。当整个三层协定几个人就能够保护的时候，网络人曾经感觉除了硬件更强以外，没多少事能够干了。

辩证思维教育通知咱们，完满事物是不存在的。虚构技术就像那只蝴蝶的翅膀，悄悄的扇了一下，数据中心的三层组网架构就轰然倒塌了。

虚构技术把一台服务器虚化成了多台逻辑服务器，每个 VM 都能够独立运行，有本人的 OS、APP，以后也有本人独立的 MAC 地址和 IP 地址，它们通过服务器外部的虚构交换机（vSwitch）与内部实体网络连接。

对于虚构技术，数据中心怎么看也只是个吃瓜大众，吃着吃着，啊~，发现自己是瓜。

这是因为虚构技术有个伴生的需要：虚拟机动静迁徙。就是在保障虚拟机上服务失常运行的同时，将一个虚拟机零碎从一个物理服务器挪动到另一个物理服务器的过程。大白话就是动静迁徙就是虚拟机搬家（不是同一个物理机），搬家的时候，须要最终用户对搬家无感，虚拟机持续失常的干活，离岗不到职，真正的全天时全天候无休为用户服务。管理员可能在不影响用户失常应用的状况下，灵便调配服务器资源，或者对物理服务器进行培修和降级。

为了保障迁徙时业务不中断，就要求在迁徙时，不仅 虚拟机的 IP 地址不变，而且虚拟机的运行状态也必须保持原状（例如 TCP 会话状态），所以虚拟机的动静迁徙只能在同一个二层域中进行，而不能跨二层域迁徙。虚拟机心想我可不是小灵通的命，要跨 AZ，要跨 Region，要冰激凌，要人民币，要走向真正挪动的星辰大海。

大二层网络面临的问题

既然要走向星辰大海，那就把本人的地盘扩充成大海。把所有服务器都纳入一个二层网络(大于 10000 台以上)。纳入之前，咱们先剖析一下大二层网络的要求点：因为虚拟机迁徙这个间接需要必须要求虚拟机在迁徙前后放弃 IP 地址不变，那么所有服务器必须要通过一个二层网络进行连贯。那么这个二层网络有什么要求呢？

1：大，在一个数据中心服务器数量动辄上万甚至十万级别的明天，能够设想，咱们须要一个足够大的二层网络来连贯数量微小的服务器。

2：快，服务器数量的减少导致业务吞吐量减少，东西向流量减少，要求网络中每个节点都能提供线速转发的能力，并且网络中的链路必须尽可能的都利用起来，保障数据中心的网络带宽，数据的转发最好是能通过一条最短的门路来进行。

先看看传统的 VLAN+xSTP 二层技术不能把所有服务器都划到同一个二层域。为了提供网络的可靠性，个别会采纳设施冗余和链路冗余，传统架构因为成熟有加，财大气粗，往往是两种措施都采纳。后果就是环路（图中蓝色圈，红色圈）无处不在。二层网络处于一个播送域下，又没有 TTL，有限循环之下，就会造成播送风暴，霎时导致端口阻塞和设施瘫痪。

VLAN 通过划分 VLAN 来放大播送域的规模来减小环路，STP（各种 STP 家族，俗称 xSTP）次要是切断备份数据转发缩小环路，两者联合，对于小二层（主机数量不超过 1K）够用了。然而大二层中，VLAN 是放大网络，天生就和扩充网络相克。xSTP 的节点过多，网络收敛性能会成指数级降落，成为扩充网络的瓶颈。

总体来说，传统三层网络架构不反对大二层网络，大二层网络路在何方？

如何实现大二层网络

在最近十来年，很多人提出了大二层的网络解决方案，基本上都是围绕着怎么解决环路，总结演绎一下，总体有三个不同的思路

1. 化繁为简
2. 坐二学三
3. Overlay

化繁为简

产生环路的起因是冗余链路和冗余设施，树形构造是没有环路的。那么有没有什么方法在设施、链路冗余的根底上又放弃树型网络的构造呢? 这样既能保障可靠性，又人造无环。基于这样的构想，简略粗犷、间接无效的网络设备虚拟化技术呈现了。

TOR 套餐模式：通过网络设备虚拟化（多虚一）和链路聚合技术，简化治理和物理配置，进步带宽利用率，疾速故障收敛和不便扩容。

EOR 套餐模式：SVF，将不同网络档次、不同类型的交换机多虚一，通过纵向整合，网络简化成果也非常明显，构造更加扼要清晰。

毛病也很显著：重叠扩展性是有限度的，协定是厂家公有的。

坐二学三

认真钻研大二层网络的特点，总结的需要是：须要一个能反对足够多的设施，天生没有环路，并且链路利用率很高的协定，来部署在咱们这个大二层网络中。有没有感觉，咱们如同在哪儿见过，你记得吗，记得那是一个夏天盛开如花。不是，错了，是路由！具体点，外部网关协定不就是干这个事件的吗？

套餐模式：TRILL（ISIS 亲妈设计）/SPB 根本都是采纳 ISIS 作为其管制屏幕协定进行拓扑学习计算，用 MAC-in-MAC 在区域内进行报文传输。

这两个协定的具体技术能够在后续专门讲一下，在这就不开展介绍了。

毛病：对于 TRILL 和 SPB，不同的厂商有这各自的反对，还在分派中。然而有一点是明确的，这些技术的部署和施行都是在网络设备上进行的，与服务器等 IT 设施无关，CT 厂家全程 Cover，IT 厂商只是个看客。

Overlay

如果 TRILL/SPB 是学习三层协定先进的技术，那 Overlay 就是伪装成本人个儿就是三层，名正言顺的披上三层的外衣，将大二层网络叠加在现有的根底网络之上，瞒天过海，暗度陈仓。

Overlay 通过用隧道封装的形式，将源主机收回的原始二层报文封装后在现有网络中进行通明传输，达到目的地之后再解封装失去原始报文，转发给指标主机，从而实现主机之间的二层通信。

隧道封装是很成熟的技术，然而，个别只能点对点建设隧道。如果有很多主机须要二层通信的话，就须要一个全连贯的网络。真头大。既然点对点不行，那就面对面？交换机期待已久的机会来了。家喻户晓，“二层交换机”是能够实现下挂主机之间互相二层通信的，而且主机从“二层交换机”的一个端口迁徙到另一个端口时，IP 地址是能够放弃不变的。这样不就能够实现大二层网络的需要了吗？

Overlay 的典型技术次要有 VXLAN、NVGRE、STT 等，简略说一下阵容最奢华的 VXLAN 技术，它是 VMWare 和 CISCO 提出的 Overlay 技术计划，采纳 Mac in UDP 的封装形式，虚拟机收回的数据包在 VXLAN 接入点（被称为 VTEP）加上 VXLAN 帧头后再被封装在 UDP 报头中，并应用承载网络的 IP/MAC 地址作为外层头进行封装，承载网络只须要依照一般的二三层转发流程进行转发即可。

依据这个设计，是不是能够看出，VXLAN 人造能够反对跨数据中心的大二层网络的。在这种架构下，无论 VM 是在本数据中心内迁徙，还是跨数据中心迁徙，都无需变更 IP 地址。目前在 华为云根底 IaaS 网络数据面全副 VXLAN 化。

VXLAN 技术 VXLAN 和 NVGRE 等技术是服务器虚拟化的 IT 厂商主推的大二层网络技术计划，这也很好了解，对于 VXLAN 和 NVGRE 技术来说，报文的封装 / 解封装都是在服务器外部的虚构交换机 vSwitch 上进行的，内部网络只对封装后的报文进行一般的二层替换和三层转发，所以技术控制权都在 IT 厂商手里，CT 厂商就是一个路人看客了。然而当把 Overlay 网络的接入点部署在 TOR 等网络设备上时，就须要网络设备来实现 VXLAN 和 NVGRE 的报文封装。一方面对于虚拟化的服务器来说，网络设备的性能还是要比 vSwitch 强很多的，用 TOR 等设施来进行封装，性能更好一些。另外一方面，在 TOR 上部署 Overlay 接入点，也能够把非虚拟化的服务器对立纳入 Overlay 网络。CT 和 IT 厂商的谐和共赢场面终于到来了。

后续关注

本文简略了介绍了大二层网络的由来和根底的大二层网络解决方案，在数据大集中的背景下，企业产生的数据量越来越大，数据的重要性也越来越高。出于灾备、用户就近接入、晋升资源利用率等方面的思考，在前期的文章中，会介绍跨数据中心的网络互联网计划。

点击关注，第一工夫理解华为云陈腐技术~