随着IT业务的快速发展,数据中心的用电成为企业的沉重负担,比如国内某运营商早在2009年的耗电量就已经高达98亿度,能源消耗每年支出近100亿元。采用市电直接给设备供电,但同时做好市电停电的保护,可以大大减少数据中心电力系统的能耗,比如下图facebook市电直供数据中心和传统数据中心在供电方面的能效比较。传统数据中心供电架构(采用了集中式UPS)下,从电网到服务器主板有高达21%到27%的能源被浪费,而facebook数据中心采用了分布式市电直供技术,只有7.5%的能源损耗掉(含服务器电源损耗),还节省了大量的初期设备投资。

1

图1 facebook第一代数据中心供电和传统UPS供电效率对比

图2就是facebook第一代数据中心供电架构的实拍照片,数据中心内部不再有传统的UPS,而是每6个IT机柜配一套48V电池用于市电停电保护。所有服务器都是市电直供到机柜,只有

2

图2 facebook第一代数据中心实际落地实际照片

市电异常或者停电的情况下,这些48V电池才短时备份,直到柴油发电机起来继续带载。针对不同类型和不同功率的服务器,备份电池容量有56KW和85KW两种规格,5组48V电池并联,电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电,兼给TOR交换机供电。在服务器内,facebook还定制了450W的277Vac和48Vdc双输入电源,当市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器总计30个电源模块,机柜内空间得到充分利用。但采用机架式服务器,每个服务器自带电源和风扇等成本高效率低,且部署密度和建设交付速度不够,因此OCP紧接着就发布了其整机柜的open rack架构。

3

图3 Open rack的V1版整机柜和V2版整机柜

如图3中open rack 的V1版示意图,每个机柜内有3个4.2KW输出的电源插框,每个插框内有6个750W的双输入电源模块(部分功率给交换机供电),服务器电源总数量从30个减少到了18个,但3套电源插框共占用了9U的高度,使得IT设备的可用高度从45U减少到30U,为保证服务器上架数量只能从横向增加服务器密度,因此出现了V1图上的纵向三母排2U 3子机的高密度架构。这种布局架构下仍然会有一些不足,比如:1、三个电源插框共占用了9U的宝贵机柜内空间,减少了IT设备可部署空间;2、总计仍高达18个双输入电源模块的总成本和效率仍不够优化,需要进一步减少;3、为增加服务器密度而采用的横向三母线架构,带来了母排成本和机构复杂度增加;4、仍采用了6个机柜带一个电池柜的架构不够灵活,6个机柜同时部署的较粗颗粒度,及机房布局需要专门匹配,还存在电池柜占用了机房内的宝贵空间等不足。

基于V1版本的不够优化,OCP继续于2015年推出了其V2版本的open rack V2 BBU供电架构。从V2版和V1版的对比上看,最明显的就是去掉了微模块级的48V铅酸电池柜,而改用了整机柜级的锂电池BBU。采用了机柜内的锂电池BBU后,数据中心内没有了集中式的UPS或者半分布式的48V电池,而是市电直供到服务器机柜,配电层级更少,转换效率更高,可边成长边投资,部署更为灵活,建设速度更快等,更为契合互联网公司灵活、快速、低成本的需求。采用这种自带电池BBU的整机柜服务器之后,如果把整个V2整机柜当成一个黑盒子来看待,就像一台超高性能笔记本电脑一样,内部自带有掉电备份电池,可直接由市电来供电,不用担心市电异常下的数据丢失和安全,只要接上光纤网络和电源就可以快速跑起来。

图4是open rack V2的详细布局图,整个机柜2210mm高,外宽600mm但21英寸内宽可用,深度为1067mm,兼容V1版场地和IT设备部署等,但可安装设备重量从950kg增加到1400kg。

4

图4 Open rack V2版整机柜的详细空间布局图

从机柜内的空间布局上看,open rack V2有两个3U高的6.6KW PWR电源及BBU电池插框,分别覆盖上下两个供电区间,每个插框内有3个3300W的电源模块及3600W电池BBU实现2+1冗余,服务器电源数量从V1的18个进一步减少到了6个,电源及电池插框从V1的9U的空间减少到6U,使得IT设备的可用高度从30U增加到32U,还额外增加一个原电池柜可部署空间。机柜顶部3U高为交换机的空间,每8U的IT设备区内为4个2U高的托盘区可以部署2U1的低密度机器,也可以部署2U3的高密度设备,均从单根母线排来供电,整机柜功率达到了12.6KW。 当然这个架构也存在一些不足的地方,比如针对一些超低或者超高功耗的机型,现有两个电源插框就存在成本和空间浪费或者可用容量不足;电源和电池模块的颗粒度较大,冗余备份成本较高;还有12V电源模块和电池BBU模块的内部设计过于复杂,成本高控制复杂,后面会详细介绍。

5

图5 Open rack V2版交直流PDU及接线图

在PDU方面,open rack V2也从原来V1版左右两侧的交流PDU和48V直流PDU竖向部署方式改到了V2的机柜顶板下安装配电盒子部署方式,单路市电输入后经AC PDU分配成两个支路给到两个电源插框,经整流模块整流并对备份电池BBU充电后输出12.5V到输出母线排上。两个电源插框内同时还输出两路300W的54V电源,经机柜顶部的DC PDU配电输出两路48V给TOR交换机供电,整体而言配电结构清晰,空间利用率很高,如图5的交直流PDU图所示。

6

图6 Open rack V2版PWR和BBU模块的电源插框图

在电池BBU方面Open rack V2采用了业界成熟很高的18650锂电池,这种电池自动化生产(+本站微信networkworldweixin),大规模一致性好、标准化高、供应商多、价格相对较低,在特斯拉汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh,30A大放电能力的大倍率功率型锂电池,电芯资料如图7有简单介绍。电池BBU模块和PWR电源模块的外形尺寸一致,不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池,双层两排叠放。浮充电压为52.5V,电池放电截至电压为 34V,每个BBU模块大输出能力达到3.6KW,重量达到10斤重左右。每个BBU内部做了BMS,以及可选的散热风扇,提高了运行的可靠性,如图8所介绍。最后,BBU模块也类似PWR电源模块一样,做了插框级的2+1冗余配置,可支持热插拔维护和更换。

7

图7 电芯资料介绍

8

图8 BBU模块介绍

电池的安全性是最为需要关注的,除了选择可靠性和成熟度较高的18650锂电池外,Open rack V2在BBU内部还做了各种充分的软硬件保护控制。如图9中,除了绿色部分正常工作情况下电池的充放电控制和充放电熔丝保护,还做了黄色部分的过欠压初级软保护,以及橙色部分的二级硬保护,确保不会出现热失控和着火等危险。在软件方面,分析各种可能的运行和切换模式,通过BBU内部的BMS控制系统和PWR的MCU管理系统联动,实现主从控制,如图10所示。

9

图9 电池的软硬件保护介绍

10

图10 电池在不同运行模式下的切换逻辑介绍

在PWR整流模块方面感觉设计非常复杂。如图11所示,每个PWR模块内部就包括了3.3KW的12.6V主输出PSU整流模块、3.5KW电池对PFC母线放电的48V DC/DC升压模块、300W的54V DC/DC交换机供电降压模块、以及270W的48V电池BBU充电模块,在一个小PWR模块内部集成了四个电源,空间紧张、成本高、控制复杂,故障率高,无成熟产品可选,需深度定制。而且单个PWR整流模块和电池BBU模块的功率颗粒度较大,冗余成本较高,且扩容能力有限。

11

图11 Open rack V2版PWR电源模块的内部电源系统图

Open rack V2在PWR上做了很多努力,虽然把PWR模块的设计搞得很复杂,但很有意思的是没有把270W的电池充电模块和3.5KW的电池放电模块放到电池BBU模块内部,除了BBU模块的散热和安全等方面的考虑外,笔者认为Open rack V2是给未来可能的48V供电埋下伏笔。未来可直接采用业界成熟高效的通信行业用48V整流模块,以及V2版的48V电池BBU,既可以实现48V母排上电池BBU的充放电管理,还可实现48V交换机直接从母排供电,将V2版本PWR模块内的四个电源模块精简成一个标准48V模块即可,而现有的V2版电池BBU可以沿用。这种架构下只需在服务器主板上做些简单修改,主板支持48V输入即可,Open rack V2版的现有布局可以沿用,可选更小的48V母排,未来直接升级到采用48V母线的Open rack 3.0版本,这里暂先做个大胆粗浅猜测。

综上,本文对facebook数据中心供电架构做了简单分析,并针对Open rack V2 整机柜架构供电方案做了重点介绍,以及大胆猜测了其未来可能的发展方向,图12中做了简单汇总和对比。鉴于作者水平有限,以及理解的深度不够,在学习先进之余整理了这个小文档,目的是抛砖引玉,引发更多行业探讨,希望能站在巨人的肩膀上,为中国的下一代天蝎整机柜供电架构提供点参考。

12

图12 不同版本供电架构的对比

关注中国IDC圈官方微信:idc-quan 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2023-06-27 10:41:50
运营商 三大运营商加入全球Open Gateway倡议
据悉,2023 MWC上海展会将于6月28日至30日在上海新国际博览中心举行,届时将有近300家参展商、赞助商参与其中。 <详情>
2023-04-26 18:09:44
整机柜服务器 开放计算之“柜计算”,推动整机柜服务器走向全产业
当前,开放计算标工委(OCTC)已经成功立项《整机柜服务器通用规范》,从基础标准入手,为柜计算体系化标准建设提供总纲性要求,规范整机柜服务器的构成及技术规格,指导整 <详情>
2022-12-20 09:51:21
整机柜服务器 原创|算力时代已至,服务器也要“四高”发展
服务器如何实现“四高”发展,才能满足新型数据中心的“四高”要求? <详情>
2022-12-07 09:16:00
交换存储 Dell'Oro:2023年Open RAN增长将放缓
近日,Dell'Oro最新报告显示,Open RAN正以比预期更快的速度继续向前发展。初步调查结果表明,2022年上半年塑造Open RAN市场的区域驱动力延续到第三季度,推动Open RAN收入 <详情>
2021-08-27 10:09:00
整机柜服务器 数据中心高质量发展 “三高”特性让整机柜成为未来主流
整机柜服务器在特性上,可以满足新型数据中心的高技术、高算力、高能效的需求。 <详情>