服务器接口从10G升级为25G接口带来很多好处,比如:
● 以太网性能是10G接口的2.5倍;
● 能为服务器的提供更高的端口密度;
● 更低的每GB数据传输功耗(更省电费);
……
虽然这些好处很诱人,但是仍然有几个方面需要注意:
一、确保理解 25G/100G的含义
以太网接口的传输速率在过去几十年来大体呈线性增长(每10年增长10倍)。大家的台式电脑或笔记本电脑的有线网卡基本是千兆网卡。而在当前的许多数据中心中,服务器的接口是10Gbps(万兆), 交换机间的接口是40Gbps(四万兆),它们中的大多数都在考虑(或者正在)将网络升级到下一代的25G/100G网络(服务器的接口是25Gbps, 交换机间互联的接口是100Gbps)。
一个100Gbps连接可被分接线缆(Break-out Cable)分解为四个通道(每个通道25Gbps),所以100G网络有时被称为25G/100G网络。同理,10G网络有时也被称为10G/40G网络。
10G/40G网络:
Spine交换机和Leaf (TOR)交换机之间链路为40Gbps,
服务器接口为10Gbps,
不同的Leaf交换机提供10G接口的方式及端口密度可能并不一样,
1)以某Leaf交换机为例,该交换机端口规格为:4810Gbps+640Gbps ,此时Leaf 交换机提供的10G接口是Leaf交换机的原生10G接口:
2)以某Leaf交换机为例,该交换机端口规格为:3240Gbps,此时该Leaf 交换机提供的10G接口是其原生的40G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下,能提供(32-6)4=104个10G端口):
25G/100G网络:
● Spine交换机和Leaf 交换机之间链路为100Gbps
● 服务器接口为25Gbps
不同的Leaf交换机提供25G接口的方式及端口密度可能并不一样:
1)以某Leaf交换机为例,该交换机端口规格为:4825Gbps+6100Gbps ,此时Leaf 交换机提供的25G接口是Leaf交换机的原生25G接口:
2)以某Leaf交换机为例,该交换机端口规格为:32100Gbps,此时该Leaf 交换机提供的25G接口是其原生的100G接口经一分四Break-out cable分接出来的(在6个端口用于上连Spine交换机的场景下,能提供(32-6)4=104个25G端口):
二. 基于业务扩张规模,综合考虑是否需要升级
对于一些处于领先地位的企业而言,从当前10/40G网络升级到25/100G是最快速的方法。毕竟从规划、新建到上线一个数据中心所花时间可能要花费好几年。(花费时间过长意味着自身有被竞争对手追上的风险)。世界几大公有云巨头基本都是美国企业,特别注意的是部分领先者为了保持(甚至为了扩大领先优势),即使当时的25G/100G设备、光模块等比今天要贵不少,但它们仍然在几前就逐渐将既有数据中心网络从10/40G升级到25/100G(当然它们同期也新建了一些数据中心)。
▲ 出货到亚马逊、谷歌和微软的光模块数量预测
放眼整个光模块市场的出货量,会发现每一种新的光模块刚出现的一两年都不被广泛使用。想想也是,毕竟刚推出的那段时间价格很贵。过去几年,国内25G/100G的应用晚于美国几大OTT的脚步,而且国内25G/100G大多用在新建的数据中心。如今(2018年),国内存量的10G数据中心有不少即将面临网络瓶颈或着IT设备设计寿命, 25G/100G光模块价格比前两年低不少,切换到到25G是个不错的选择(经济+性能提升)。
▲ 整个光模块市场的出货量预测
三、不一定每台服务器都需要升级
如果您数据中心的一部分服务器的10G网络(或未来一段时间)没有瓶颈,那么将它们网络也升级到25G并不会带来性能提升。这种情况下可以让这些服务器继续使用10G网络,等网络即将成为瓶颈的时候再进行升级。
四、尽量不要采购40Gbps的网卡
过去几年中,40G的服务器网卡出货数量并不多。某电商平台的25G和40G服务器网卡的价格截图如下(不含光模块),可以看到二者价格很接近。
但40G网卡通常并不能充分利用服务器PCIe总线。因为许多服务器带PCIe 3.0 x 8(Gen3 x8)插槽,能提供56Gbps的带宽。将带2个25G的端口的网卡插到56Gbps PCIe插槽,可以使网络到服务器性能获得更高的效率(相对于插一个40G端口的网卡)。