Inquiry CartInquiry Cart
主页 - 新闻

数据中心网络架构

2023 年 2 月 1 日

传统数据中心网络架构

传统数据中心的新网络架构通常采用三层结构,(园区网一般也是三层结构)思科将这种结构称为层次互连网络模型,包含三层。

Core 核心层:为多个汇聚层提供高速转发和连接。

汇聚层:该层连接接入交换机,同时提供其他服务(FW、SLB等)

接入层:该层物理连接服务器,通常位于机柜顶部。 它也称为架顶式 (ToR) 交换机。

三层架构如下图所示。

三层架构

汇聚层是网络的分界点。 L2网络位于汇聚交换机下方,L3网络位于汇聚交换机上方。 每组汇聚交换机代表一个Pod,Pod被划分为业务专用区域模块。 每个 pod 内有一个或多个 VLAN 网络,每个POD对应一个广播域。

这种架构部署简单,(vlan+xstp)技术成熟。

虚拟局域网、Xstp

使用 VLAN(虚拟局域网)、xstp 的原因。

1. BUM(广播、未知单播、多播)

VLAN技术将一个大的物理二层域划分为若干个小的逻辑二层域,称为VLAN。 在同一个VLAN内,允许二层通信,不做VLAN隔离。 这确保广播范围仅限于 VLAN 本身,而不会传播到整个物理第 2 层域。

VLAN 还可以简化管理、提高安全性等。

2.广播风暴形成的环路和环路

如果是单设备单链路组成的三层架构,没有环路和环路带来的广播。 但是,由于没有备份设备和链路,该网络的可靠性较差。 如果某个设备或链路发生故障,故障点下的所有主机都将失去与网络的连接。

为了提高网络的可靠性,通常会使用冗余的设备和链路(如上图),从而形成环路。 二层网络属于同一个广播域,广播报文在环路内重复连续传输,会导致无线环路形成广播风暴,造成端口瞬间阻塞,设备瘫痪。

为了防止环路,保证网络的可靠性,可以将冗余设备和链路转换为备份设备和备份链路。 正常情况下,冗余设备和链路被阻塞,不参与转发数据报文。 只有当当前转发设备、端口、链路出现故障,导致网络故障时,才会激活冗余设备和链路,恢复网络功能。 这些自动控制协议称为断环协议,最常用的是STP(Spanning Tree Protocol)与RSTP、MSTP统称为XSTP协议。

服务器虚拟化

虚拟化的发展极大地影响了数据中心网络架构的要求。 虚拟机动态迁移等技术,需要保证虚拟机迁移前后的IP和MAC地址不变,这就需要虚拟机迁移前后的网络在同一个二层域内,甚至跨越不同的地理区域和不同的服务器机房。 由此,数据中心二层网络的范围不断扩大,引发了大二层网络这一新领域课题的出现。

传统二层网络架构不大起来

一般的传统网络架构是根据业务特点划分不同的模块,在不同的区域有相应的VLAN划分。 跨pod迁移必然会改变IP地址,不符合虚拟机不间断动态迁移的要求:

传统网络架构

VLAN问题

VLAN的核心思想之一是通过划分VLAN来控制广​​播风暴的大小,以缩小二层域的范围和规模。

如果没有其他隔离手段,将所有服务器都划入同一个VLAN,就相当于将广播域扩大了一个很大的范围,有悖于划分VLAN的初衷。

随着公有云的兴起和IaaS(Infrastructure as a Service)模式的普及,“多租户”环境成为云网络必备的基础能力。 在传统二层网络中,VLAN支持的最大租户数为2K,已经跟不上业务的快速发展。

xSTP问题

环路技术收敛速度慢,xSTP需要阻断冗余设备和链路,降低了网络资源的带宽利用率,极大地限制了二层组网的规模。

大二楼的实现

传统的二层技术无法实现真正​​的大规模二层网络,所以我们不得不另辟蹊径。 然后技术大牛们各显神通,想出了很多解决方案。

1、虚拟交换机技术

由于二层网络的核心问题是环路问题,环路问题往往出现在冗余的设备和链路上,因此可以通过将多个设备和链路合并为一个来消除环路,这就是 网络设备虚拟化 技术。

所谓网络设备虚拟化技术,就是将两个或多个相互冗余的物理网络设备组合起来,虚拟成一个逻辑网络设备,在整个网络中只表现为一个节点。

网络设备虚拟化结合链路聚合技术,可以将原来的多设备多链路结构转变为逻辑上的单设备单链路架构,消除了环路的出现,从而不再受到断环协议的限制,从而实现大型二层网络。

网络设备虚拟化的主要技术大致可以分为三类:盒式设备的堆叠技术、模块化设备的堆叠技术和盒/盒之间的混合堆叠技术。 有华为的CSS、iStack、SVF,CISCO的VSS、FEX,H3C的IRF等。

网络设备虚拟化技术

网络设备虚拟化解决方案也有一定的缺点。

1)这些协议是厂商私有的,所以只能使用同一厂商的设备组网。

2)受限于堆叠系统本身的规模,最大的堆叠/集群可以支持访问10-20,000台主机,这对于大型数据中心来说有时可能不够。 但是对于一般的数据中心来说,还是够用的。

东西向的三层流量,无论是否在接入层交换机下,都需要经过具有三层功能的核心交换机。 如果东西向流量大,会浪费宝贵的核心交换资源,多层转发也会增加网络传输时延。

东西向 L3 流量

其次,共享二层广播域的BUM(Broadcast-, Unknown Unicast, Multicast)风暴随着网络规模的扩大而显着增加,最终影响正常的网络流量。

2、隧道技术

隧道技术也可以解决二层网络的环路问题,但重点不是消除或阻断环路,而是在存在物理环路的情况下如何避免逻辑转发路径环路。

该技术的核心思想是通过在二层报文前插入额外的帧头,将三层网络的路由转发方式引入二层网络,通过路由计算来控制整个网络的数据转发。 这不仅可以防止冗余链路下的广播风暴,还可以启用 ECMP(等价多路径)。 这使得第 3 层网络可以扩展到整个网络,而不受核心交换机数量的限制。 当然,这需要交换机改变传统的基于MAC的二层转发行为,使用新的协议机制进行二层报文转发。

新协议包括TRILL、FabricPath、SPB等。

TRILL协议在原以太网帧外封装了一个TRILL帧头,再封装一个新的外层以太网帧,实现原以太网帧的透传,TRILL交换机可以通过TRILL帧头中的Nickname标识进行转发,它和路由一样,可以通过IS-IS路由协议进行收集、同步和更新。

TRILL和SPB这些技术是CT厂商主推的大二层网络技术解决方案。

3、覆盖网络

覆盖网络是建立在现有网络(底层网络)之上的虚拟网络。 现有网络是指之前交换机所在的网络,只要是IP网络即可。 覆盖网络是建立在 L2 网络之上的 L3 网络。 也就是说,只要L3网络能够覆盖一定的区域,overlay网络的L2网络也能够覆盖该区域。

通过隧道封装,将来自源主机的原始二层报文进行封装,在现网透明传输。 到达目的地后,解封装得到原始报文,转发给目的主机,从而实现主机间的二层通信。

通过封装和解封装,相当于在现有基础网络之上叠加了一个大的二层网络,因此简称为Overlay,也称为NVo2。

Overlay方案的核心是点对多点的隧道封装协议,将中间网络的结构和细节抽象出来,将整个中间网络虚拟为一个“巨型二层交换机”。 在这个虚拟网络中,每台主机都直接连接到这个“巨型交换机”上的一个端口。 每台主机都直接连接到这个“巨型交换机”的一个端口。 因此,主机不需要关心流量在底层网络中如何转发的内部细节。

Overly技术独立于承载网,可以充分利用现有基础网络实现大规模二层网络。 它在支持SDN和多租户方面具​​有优势,是目前大规模二层网络最流行的技术。 可以实现整个数据中心的大规模二层网络,甚至跨数据中心的大规模二层网络互联。 但是Overly技术由Overlay网络和Underlay承载网两个控制层面组成,管理维护和故障定位相对复杂。 运维工作也相对更为广泛。

Overlay网络和Underlay承载网络

采用 Spine/Leaf 架构的 VXLAN。

采用 Spine/Leaf 架构的 VXLAN

Spine/Leaf 网络扩展了接入层和汇聚层。 一台主机可以通过叶子分支交换机(leaf)与另一台叶子分支交换机上的主机进行通信,并且是一个独立的通道。 这种网络可以大大提高网络的效率,特别适用于高性能计算集群或高频流量通信设备。

脊柱/叶网络

东西向流量不需要经过核心。