一、天蝎1.0:整合度的权衡
时间追溯至2012年5月2日。
第三届OCP峰会在圣安东尼奥召开,宣布腾讯和阿里巴巴成为正式会员,并开始筹划Open Rack与天蝎项目的融合,期待能在2013年将两个项目规范合并。这反映了双方的共同意愿,不过,Open Rack与天蝎项目在设计理念上存在较大的分歧,而这又很大程度上是由不同的客观环境决定的。
中国服务器厂商的老朋友Supermicro,已在2010年9月中旬举行的秋季IDF上宣布推出SuperRack整机柜解决方案。Open Rack和天蝎整机柜服务器的定制性更强,不是直接把现有的机架式服务器装满机柜,而像是标准化程度更高、尺度更大的刀片式服务器,机柜好比刀片式服务器的机框(Blade Chassis),要整合供电、散热、管理等“基础设施”。
Open Rack只整合了供电单元(Power Supply Unit,PSU),而天蝎项目还集中了散热(风扇)和管理。
天蝎整机柜效果图,机柜中部的PSU和RMC(中图)、背面的风扇墙(右图)以及1U高的服务器节点(左图)是其主要特征
1999年,Google的“软木板”机柜服务器就已集中了风扇。不过,Urs Hölzle等人当时那么做多少有不得已的成分,毕竟软木板服务器没有机箱可以用来固定风扇,既然机柜才是真正意义上的机箱,将风扇集中安装在机柜的后门上便是一个合乎实际情况的选择。后来Google步入正轨,有足够的时间规划,做法也不再那么“山寨”,遂回归到每个服务器节点自备风扇的常规设计。
Facebook的服务器设计与Google颇有渊源,也影响到了Open Rack。将风扇集中到机架后部,形成风扇墙,至少有两大好处:
- 可以使用更大尺寸的风扇,具有更高的效率;
- 减少风扇的数量,有助于控制需维护的故障单元。
浪潮SmartRack整机柜服务器的介绍材料,介绍了天蝎项目集中供电、散热、管理的优势,数字仅供参考
既省电,又减少了活动部件的数量,为什么还不集中呢?因为也带来了管理上的挑战——不同的服务器节点发热量有区别,需要的风扇转速可能不同。特别是大直径的风扇会跨越多个服务器节点,即使把同样构造的节点放在一起,亦可能因为工作负载不同,而需要不同的风扇转速,考虑最坏情况,必须就高不就低,仍然难以避免能耗的浪费。
天蝎整机柜后部每排风扇的供电线缆及管理用网线(来源:张广彬拍摄)
利弊可以权衡,集中散热必须提供配套的管理——风扇墙是共享的,但要由RMC(Rack Management Controller,机柜管理控制器)或RBP(Rack Back Plane,机柜背板)实现独立风扇控制。天蝎1.0定义了机柜管理模块(RMC Module),阿里巴巴、百度、腾讯和英特尔构成的天蝎项目组2012年3月下旬起草初稿,经过几次修订,2012年5月16日,完成《整机柜服务器管理RMC CLI规范》Version1.0。RMC不仅监控节点(环境、CPU、内存)温度、电源和风扇状况,还有更新风扇控制板固件、识别插入节点是否属于本机柜、将位置信息刷入节点等管理功能。
百度北极1.0(上)和浪潮SmartRack 3.0(下)整机柜服务器中部的RMC(左侧)及集中PSU(来源:张广彬拍摄)
除了作为重要的发起者之一,百度在天蝎1.0时代是部署的绝对主力,并为天蝎项目贡献了大量工程实践和实验。譬如,供电系统中电源背板是单点,百度与供应商合作,成功实现管理与铜排(busbar)的拆分,铜排基本不会坏,管理部分可以单独更换,就不用冗余设计了,从而降低成本。从供电的角度来看,这种做法也可视为“控制和数据解耦”思路的一种体现。
二、天蝎2.0:内宽与标准化
对于Open Rack将机架内宽扩大到21英寸的做法,天蝎项目一开始是拒绝的。
理由很简单,一个几乎是全新的标准,初期注定没有规模。量上不去,成本下不来。据说,Open Rack刚开始时,仅仅一个机柜的价格就要1500美元。从整个公司的层面来看,BAT对基础设施还没有Google、亚马逊、Facebook那般重视,虽说多花钱是为了最终省钱,但何时能把多花的钱省回来?前瞻是好的,可超越权限太多的事,很难做成。
天蝎1.0基于流行的19英寸EIA 310-D标准机架,规范中要求机架承载能力不小于1200千克。内宽21英寸会削弱机架的承重能力,这也是百度所担心的。Supermicro的SuperRack同样遵循EIA 310-D标准,一直发展到现在。
尽管机架标准不变,毕竟电源相关的部分和服务器节点都需要定制,初期还是会有采购成本上升的问题。经过内部的说服和协调工作,百度表示可以接受采购成本的小幅增长,接下来是浪潮、广达、富士康、华为、英业达等服务器OEM/ODM付出牺牲,用户和厂商共同培育天蝎生态系统。
2012年12月,以天蝎1.0为主体的百度“北极”1.0开发完成,并上线200个机架,部署地点包括我们在2013年1月11日参观的百度南京浦口电信机房;2013年8月,又向内蒙古机房交付数百套产品。在这些远离北京的区域(特别是内蒙古),把大部分组装工作转移到工厂预先完成、现场快速部署可以显著降低人力成本。与传统的机架式服务器相比,天蝎整机柜服务器除了节能,还具有约10倍的交付效率,日交付量从原来的几百台,提高到3000台(节点),乃至5000台(天蝎2.0),对需要快速大批量部署的百度很有价值。
百度“北极”2.0、阿里Ali Rack、浪潮SmartRack 4.0,天蝎2.0样机的正面与背面(来源:张广彬拍摄)