随着IT业务的快速发展，数据中心的用电成为企业的沉重负担，比如国内某运营商早在2009年的耗电量就已经高达98亿度，能源消耗每年支出近100亿元。采用市电直接给设备供电，但同时做好市电停电的保护，可以大大减少数据中心电力系统的能耗，比如下图facebook市电直供数据中心和传统数据中心在供电方面的能效比较。传统数据中心供电架构(采用了集中式UPS)下，从电网到服务器主板有高达21%到27%的能源被浪费，而facebook数据中心采用了分布式市电直供技术，只有7.5%的能源损耗掉(含服务器电源损耗)，还节省了大量的初期设备投资。
图1 facebook第一代数据中心供电和传统UPS供电效率对比
图2就是facebook第一代数据中心供电架构的实拍照片，数据中心内部不再有传统的UPS，而是每6个IT机柜配一套48V电池用于市电停电保护。所有服务器都是市电直供到机柜，只有
图2 facebook第一代数据中心实际落地实际照片
市电异常或者停电的情况下，这些48V电池才短时备份，直到柴油发电机起来继续带载。针对不同类型和不同功率的服务器，备份电池容量有56KW和85KW两种规格，5组48V电池并联，电池备份时间为90秒。电池柜内有3个2KW白金版48V电源模块给电池充电，兼给TOR交换机供电。在服务器内，facebook还定制了450W的277Vac和48Vdc双输入电源，当市电停电后10ms内切换到48V DC/DC电源供电。每个服务器机柜内有30台1.5U高的服务器总计30个电源模块，机柜内空间得到充分利用。但采用机架式服务器，每个服务器自带电源和风扇等成本高效率低，且部署密度和建设交付速度不够，因此OCP紧接着就发布了其整机柜的open rack架构。
图3 Open rack的V1版整机柜和V2版整机柜
如图3中open rack 的V1版示意图，每个机柜内有3个4.2KW输出的电源插框，每个插框内有6个750W的双输入电源模块(部分功率给交换机供电)，服务器电源总数量从30个减少到了18个，但3套电源插框共占用了9U的高度，使得IT设备的可用高度从45U减少到30U，为保证服务器上架数量只能从横向增加服务器密度，因此出现了V1图上的纵向三母排2U 3子机的高密度架构。这种布局架构下仍然会有一些不足，比如：1、三个电源插框共占用了9U的宝贵机柜内空间，减少了IT设备可部署空间;2、总计仍高达18个双输入电源模块的总成本和效率仍不够优化，需要进一步减少;3、为增加服务器密度而采用的横向三母线架构，带来了母排成本和机构复杂度增加;4、仍采用了6个机柜带一个电池柜的架构不够灵活，6个机柜同时部署的较粗颗粒度，及机房布局需要专门匹配，还存在电池柜占用了机房内的宝贵空间等不足。
基于V1版本的不够优化，OCP继续于2015年推出了其V2版本的open rack V2 BBU供电架构。从V2版和V1版的对比上看，最明显的就是去掉了微模块级的48V铅酸电池柜，而改用了整机柜级的锂电池BBU。采用了机柜内的锂电池BBU后，数据中心内没有了集中式的UPS或者半分布式的48V电池，而是市电直供到服务器机柜，配电层级更少，转换效率更高，可边成长边投资，部署更为灵活，建设速度更快等，更为契合互联网公司灵活、快速、低成本的需求。采用这种自带电池BBU的整机柜服务器之后，如果把整个V2整机柜当成一个黑盒子来看待，就像一台超高性能笔记本电脑一样，内部自带有掉电备份电池，可直接由市电来供电，不用担心市电异常下的数据丢失和安全，只要接上光纤网络和电源就可以快速跑起来。
图4是open rack V2的详细布局图，整个机柜2210mm高，外宽600mm但21英寸内宽可用，深度为1067mm，兼容V1版场地和IT设备部署等，但可安装设备重量从950kg增加到1400kg。
图4 Open rack V2版整机柜的详细空间布局图
从机柜内的空间布局上看，open rack V2有两个3U高的6.6KW PWR电源及BBU电池插框，分别覆盖上下两个供电区间，每个插框内有3个3300W的电源模块及3600W电池BBU实现2+1冗余，服务器电源数量从V1的18个进一步减少到了6个，电源及电池插框从V1的9U的空间减少到6U，使得IT设备的可用高度从30U增加到32U，还额外增加一个原电池柜可部署空间。机柜顶部3U高为交换机的空间，每8U的IT设备区内为4个2U高的托盘区可以部署2U1的低密度机器，也可以部署2U3的高密度设备，均从单根母线排来供电，整机柜功率达到了12.6KW。 当然这个架构也存在一些不足的地方，比如针对一些超低或者超高功耗的机型，现有两个电源插框就存在成本和空间浪费或者可用容量不足;电源和电池模块的颗粒度较大，冗余备份成本较高;还有12V电源模块和电池BBU模块的内部设计过于复杂，成本高控制复杂，后面会详细介绍。
图5 Open rack V2版交直流PDU及接线图
在PDU方面，open rack V2也从原来V1版左右两侧的交流PDU和48V直流PDU竖向部署方式改到了V2的机柜顶板下安装配电盒子部署方式，单路市电输入后经AC PDU分配成两个支路给到两个电源插框，经整流模块整流并对备份电池BBU充电后输出12.5V到输出母线排上。两个电源插框内同时还输出两路300W的54V电源，经机柜顶部的DC PDU配电输出两路48V给TOR交换机供电，整体而言配电结构清晰，空间利用率很高，如图5的交直流PDU图所示。
图6 Open rack V2版PWR和BBU模块的电源插框图
在电池BBU方面Open rack V2采用了业界成熟很高的18650锂电池，这种电池自动化生产(+本站微信networkworldweixin)，大规模一致性好、标准化高、供应商多、价格相对较低，在特斯拉汽车、笔记本电脑和电动工具等行业有成熟广泛应用。这里选择了某品牌2000mAh，30A大放电能力的大倍率功率型锂电池，电芯资料如图7有简单介绍。电池BBU模块和PWR电源模块的外形尺寸一致，不到1.5U高420mm深。每个BBU模块内部采用了13串4并的两组电池，双层两排叠放。浮充电压为52.5V，电池放电截至电压为 34V，每个BBU模块大输出能力达到3.6KW，重量达到10斤重左右。每个BBU内部做了BMS，以及可选的散热风扇，提高了运行的可靠性，如图8所介绍。最后，BBU模块也类似PWR电源模块一样，做了插框级的2+1冗余配置，可支持热插拔维护和更换。
图7 电芯资料介绍
图8 BBU模块介绍
电池的安全性是最为需要关注的，除了选择可靠性和成熟度较高的18650锂电池外，Open rack V2在BBU内部还做了各种充分的软硬件保护控制。如图9中，除了绿色部分正常工作情况下电池的充放电控制和充放电熔丝保护，还做了黄色部分的过欠压初级软保护，以及橙色部分的二级硬保护，确保不会出现热失控和着火等危险。在软件方面，分析各种可能的运行和切换模式，通过BBU内部的BMS控制系统和PWR的MCU管理系统联动，实现主从控制，如图10所示。
图9 电池的软硬件保护介绍
图10 电池在不同运行模式下的切换逻辑介绍
在PWR整流模块方面感觉设计非常复杂。如图11所示，每个PWR模块内部就包括了3.3KW的12.6V主输出PSU整流模块、3.5KW电池对PFC母线放电的48V DC/DC升压模块、300W的54V DC/DC交换机供电降压模块、以及270W的48V电池BBU充电模块，在一个小PWR模块内部集成了四个电源，空间紧张、成本高、控制复杂，故障率高，无成熟产品可选，需深度定制。而且单个PWR整流模块和电池BBU模块的功率颗粒度较大，冗余成本较高，且扩容能力有限。
图11 Open rack V2版PWR电源模块的内部电源系统图
Open rack V2在PWR上做了很多努力，虽然把PWR模块的设计搞得很复杂，但很有意思的是没有把270W的电池充电模块和3.5KW的电池放电模块放到电池BBU模块内部，除了BBU模块的散热和安全等方面的考虑外，笔者认为Open rack V2是给未来可能的48V供电埋下伏笔。未来可直接采用业界成熟高效的通信行业用48V整流模块，以及V2版的48V电池BBU，既可以实现48V母排上电池BBU的充放电管理，还可实现48V交换机直接从母排供电，将V2版本PWR模块内的四个电源模块精简成一个标准48V模块即可，而现有的V2版电池BBU可以沿用。这种架构下只需在服务器主板上做些简单修改，主板支持48V输入即可，Open rack V2版的现有布局可以沿用，可选更小的48V母排，未来直接升级到采用48V母线的Open rack 3.0版本，这里暂先做个大胆粗浅猜测。
综上，本文对facebook数据中心供电架构做了简单分析，并针对Open rack V2 整机柜架构供电方案做了重点介绍，以及大胆猜测了其未来可能的发展方向，图12中做了简单汇总和对比。鉴于作者水平有限，以及理解的深度不够，在学习先进之余整理了这个小文档，目的是抛砖引玉，引发更多行业探讨，希望能站在巨人的肩膀上，为中国的下一代天蝎整机柜供电架构提供点参考。
图12 不同版本供电架构的对比
热门专题
