个推运维平台高级网络工程师 山川
随着互联网公司规模的扩充，企业对老本管制和数据安全的需要越来越高，大部分公司往往会自建机房，而非租用云服务器。个推在互联网数据中心（Internet Data Center，简称 IDC）网络布局和经营方面也经验了几次的迭代和变迁，同时，咱们也对数据中心网络倒退的历程进行了总结。
咱们将围绕 IDC 网络经营布局的根本要求、传统 PC 时代的网络架构、挪动互联网和大数据时代的 IDC 网络结构、罕用服务器接入技术四个局部对数据中心的倒退历程进行拆解。本文将先与大家分享传统数据中心的网络模型。
01
数据中心网络建设的根本要求
数据中心网络建设根本要求能够演绎为四点：
a) 带宽和流量模型的适配
“南北”流量通常指的是进入和来到数据中心的流量。而服务器到服务器间的交互流量，通常称为“货色”流量。传统的“树形”拓扑中“南北”流量占比拟高，当须要更大带宽时，咱们往往能够通过降级设施的线卡构造或应用端口密度更高的设施来满足要求。古代数据中心内常见的利用，例如 Hadoop 等，大多采纳“货色”流量，其某些特定集群之间须要复制大量数据或进行虚拟机迁徙。因而，传统“树形”拓扑不太实用于当初 IDC 的互联网利用。
b) 资本收入最小化
与网络相干的资本收入（CAPEX）所占比重比拟大，仅基础架构就占据了整个数据中心约 10-15%收入。只管相对老本的收入是不可避免的，但咱们还是能够采取一些形式来缩小相对老本的收入。
有以下两种办法：
从洽购层面来看，咱们能够通过设施标准化来降低成本：比方应用雷同类型的设施甚至应用同一种型号的设施，这样咱们能够通过批量定价、批量洽购的形式，缩小设施保护和备件购买老本。
从网络布局层面来看，网络层协定的设计要兼容多厂家，咱们能够通过引入多个网络设备供应商，采纳竞价的形式来降低成本。
c) 经营收入最小化
数据中心规模越大，企业经营收入老本就越高。据无关统计，网络设备越多，故障率越高。在网络管制层面上，设计越简洁，性能越稳固，这样咱们就能够最大限度地缩小软件问题相干的故障。
最小化经营收入的一个关键点在于缩小网络中故障域的大小。网络（这里指的是以太网络）故障次要是由播送或未知单播流量引起的，咱们通过应用全布线设计，能够大大减少数据立体故障域的大小，行将它们限度为网络层次结构中的最低级别。然而，这样的设计不能解决分布式管制立体故障的问题，所以网络设计上咱们须要放弃简洁，尽量减少管制立体协定的应用以尽可能防止协定交互问题的产生、升高网络整体故障产生的频率。此外，咱们还应最大限度缩小网络协议的应用，以缩小测试老本，进步人效。
d) 流量负载平衡的正当利用
应用程序负载平衡对于任意一个数据中心而言，都是至关重要的性能。在传统流量工程中，负载均衡器是流量转发门路中的专用设备。网络布局能够帮忙组内多台负载均衡器正当调配流量。任意播前缀 [RFC4786] 和等价组合多路径（ECMP）性能可用于实现网络流量调度。
**
02**
传统 web 时代的网络架构
首先咱们要明确一点：大二层网络基本上针对的是数据中心场景，旨在解决数据中心虚拟机动静迁徙这一特定需要。对于园区网之类的网络，大二层网络架构适用性不强（除了某些非凡场景，例如 WIFI 漫游等）。
**
传统二层架构 **
为了保障网络的高可靠性，传统的二层架构在利用于数据中心场景中，网络设计上往往采纳二层冗余链路，而因为传统二层协定没有任何防环机制，这样的做法容易引发二层环路和播送风暴。为了解决环路问题，咱们采纳了两种技术：VLAN 技术和 xSTP 技术。而为了解决播送风暴问题，咱们采纳了如下两个解决方案：
1）通过划分 VLAN 放大播送域的规模
VLAN 技术能够把一个绝对比拟大的物理二层域划分成许多较小的逻辑二层域，这种逻辑二层域被称为 VLAN。同一个 VLAN 内能够进行二层通信，不同 VLAN 之间则进行二层隔离，这样播送的范畴就能够管制在一个 VLAN 内，不会扩散到整个物理二层域。
VLAN 尽管能够在肯定水平上升高播送风暴的范畴和强度，但还是无奈避免 VLAN 内播送风暴的造成（只有同一个 VLAN 内还有环路）。
2）通过破环协定避免环路的产生
咱们从播送风暴造成的根本原因动手，能够更好地解决播送风暴问题。因为播送风暴是呈现环路才导致的，因而，通过肯定的伎俩，避免环路呈现就能够无效防止播送风暴的产生。
为避免环路呈现，并保障网络的可靠性，咱们能够将冗余设施和冗余链路变成备份设施和备份链路，即在失常状况下，将网络冗余的设施端口和链路进行阻塞，使端口与链路长期不参加数据报文的转发。
只有以后转发的设施、端口、链路呈现故障，导致网络不通时，冗余的设施端口和链路才会被关上，使网络恢复正常。实现这些自动控制性能的协定咱们称为破环协定，其中最罕用的协定则是生成树协定（xSTP）。
当然，也有一些其余的破环协定，比方 SEP、RRPP 等等，其本质思维和 xSTP 协定统一。
3）传统的二层技术网络规模之窘境
下面提到传统二层网络最次要的技术是 VLAN 和 xSTP，但这两个技术存在以下问题。
a. VLAN 的问题
正如前文所述，VLAN 的核心思想之一，就是通过划分 VLAN 来放大二层域的范畴和规模，从而管制播送风暴的规模。而大二层网络又要求把所有服务器都纳入同一个二层域。这和划分 VLAN 的初衷是南辕北辙的。所以 VLAN 技术就无奈很好地反对大二层网络。
b. xSTP 的问题
xSTP 能够解决大二层网络的环路问题，但因为 xSTP 的收敛性能等起因（如果 xSTP 的节点过多，那么整网的收敛速度会呈指数级降落），所以个别状况下 xSTP 的网络要求其交换机数量不能超过 100 台。同时因为 xSTP 须要对冗余设施和链路进行阻塞，这也在肯定水平上升高了网络资源的带宽利用率。故 xSTP 协定无奈很好地满足大二层网络的需要。
4) 小结
总之，因为前文所提及的制约条件，基于 VLAN+xSTP 技术的二层网络（作为大二层网络的一种），其所能包容的服务器数量，通常不会超过 1K。这与真正意义上大二层网络至多能包容一万台以上主机的要求差距甚远。
设施虚拟化架构
传统的 xSTP 技术无奈无效解决大二层环境中的环路问题，于是一种新的技术便应运而生——网络设备虚拟化技术。所谓网络设备虚拟化技术，就是将互相冗余的两台或多台物理网络设备组合在一起，虚拟化成一台逻辑网络设备，在整个网络中只出现为一个节点。
只有网络设备虚拟化与链路聚合技术相配合，就能够把原来的多节点、多链路的构造变成逻辑上单节点、单链路的构造，从而无效防止环路问题。
网络设备虚拟化 + 链路聚合技术构建的二层网络人造没有环路，其规模仅受限于虚构网络设备所能反对的接入能力，只有虚构网络设备容许，二层网络的规模就不受限制。
然而网络设备虚拟化计划也存在肯定的毛病：
1）这些协定都为厂家公有，因而咱们只能应用同一厂家的设施组网。
2）因为重叠零碎自身的规模限度，目前最大规模的重叠 / 集群大略能够反对接入 1 - 2 万主机，对于超大型的数据中心来说，就显得力不从心了。然而对于个别的数据中心而言，还是能够熟能生巧地运行的。
随着挪动互联网的蓬勃发展，大数据技术利用变得越来越遍及，传统时代的 IDC 架构难以进行动静扩大，Clos 架构因为灵便和老本较低的劣势，被越来越多的大型互联网公司所采纳。
《大数据时代的 IDC 网络结构和服务器罕用接入技术（下篇）》咱们将会带大家理解 Close 架构的核心思想及个性、服务器罕用接入技术类型，心愿能给大家带来更多启发。