中国IDC圈8月9日报道:上文介绍了谷歌数据中心空调系统的三大特点,现在我们看看其具体实施过程。图4是谷歌数据中心建设早期的平面图,冷却模块108a通过接入管段106和104连接到永久性空调主水管上,隔离阀114用于从主管上隔离接入管段106和104,这样在建设初期冷冻水被控制在阀门114的下半部,而其他部分仍保持管路干燥不影响其他部分的施工。同时,截止阀或者平衡阀,比如112和110也被用来作为隔离作用,用于安装连接机房水平支管等。
图4数据中心建设早期的平面图
图5是图4数据中心建设平面图的下一个阶段,此时数据中心已经在图4的基础上又进一步建设了一段时间,机房内已经搭建起来了如116的整排机柜,机柜118以背靠背的方式建设,而119作为散热空调置于两排机柜间或者机柜顶部,将被机柜118内的服务器加热后的空气制冷后重新送回到机房内。
图5机房内管路和机柜的布局示意图
图5中可以清楚看到建设中新增的冷冻水水平支管120,并在此120环路的上方准备安装机柜和空调,且环管120可能会安装在架空地板下来减少漏水或者爆管的风险。同样在这个图中还可以看到冷却模块108b、108c和108d也已经被建设好,每个冷却模块对应一定排数的服务器机柜,而这些机柜排数则根据每个冷却模块的制冷容量来配置,比如每个冷却模块可以覆盖2-3排的机柜排。这里只是示意,现实中谷歌不会采用这种机柜排和水平支管平行的方式,因为任何一个水平支管故障都可能影响一整排机柜,实际做法后面会进一步介绍。等整个机房完成建设后,较早建设的冷却模块108a可以作为整个数据中心的备用冷机,或者说当满负载下的冷却模块需求是N,则108a可以作为N+1的备份来提高系统可靠性。整个机房在满负荷底下,即便出现某台冷却模块故障或者需要停电检修,仍可以保证整个机房有足够冷量满足散热需求,甚至可以满足满负荷外额外超出的负载尖峰。
每个冷却模块都是模块化建设,包含冷却塔、换热器、阀门系统、水泵和配电单元等。而分布式储冷系统,比如盐水罐或者储水塔也会被建设,当负载较低时候存储冷量,而在负荷高峰的时候也可以释放冷量,用于负载的消峰填谷。如图5的这个案例,4个冷却模块已经建设好,而两排的空调及服务器已经投入使用,以及第三排机柜准备建设。下一阶段将会建设120管路上方的机柜以及空调,然后再建设其他新的空调冷却模块以及机柜和置顶空调,直至整个机房完成建设,图6是包含了储冷罐和混合塔的实际冷却模块详细照片。
图6 谷歌冷却模块的现场实景
图7是某个数据中心建设的早期平面图,其中冷却模块148是租赁来的小容量冷却模块,而145则是永久性安装的大型自购冷却模块。154是主供水管,而156是主回水管,截至阀144允许冷却模块145从整个空调系统中独立开来。类似的,租赁的小冷却模块148也通过接头150连接到整个空调系统中,并可由截至阀146从空调系统中独立开来。通常租赁的冷却模块148要比自购永久性冷却模块145的尺寸和制冷容量都要小一些,比如方便采用标准卡车方便拖运到现场,通过软接头等方式快速连接到空调主管路中提供额外的冷量,也容易从主系统中拆卸和退租。
数据中心建设的初期,租赁来的小冷却模块148投入建设并调试,同时还在机房内建设好机柜及置顶空调等,然后再和冷却模块148一起经过测试验证环节,快速投入生产。由于冷却模块148的制冷能力有限,以及随着IT负载不断增加的上架量,永久性的冷却模块145就需要被建设,但此时截至阀144仍处于关闭状态,不接到整个系统中。当145永久性冷却模块完成建设,则通过144截至阀连接到整个系统中,并经过测试验证后投入使用。随着负载的不断增加,新的IT机柜以及新的冷却模块不断被建设?测试验证?投入使用。
除了空调系统外,供电系统也可以采用类似的租赁方式快速满足早期的供电需求,比如图7左下角的临时租赁供电模块152用于数据中心早期的负荷,随着负载的不断增加,永久型的供电基础设施也被不断建设并测试验证投入使用。
图7 租赁空调系统和永久性空调系统的安装示意
图8是前面提到数据中心的侧视图,服务器机柜230安装在架空地板上,地板下则安装着整排机柜对应的水平供水接头218和回水接头220,而机柜底下的水平支管226上则鱼骨状衍生出很多的置顶空调软管228连接到每个置顶盘管内,用于每个hot huts微模块的散热。而冷却模块204则由冷却塔206、水泵208、板换216、以及冷机210等构成。冷机210可以为风冷冷水机组,在冷却塔被允许工作,或者排污申请被批准之前,靠210风冷冷水机组来散热,通常其制冷容量会比冷却塔206的散热量要小,而且能源效率也比冷却塔要差。
图8 谷歌数据中心的机房侧视图示意