云计算、大数据的兴起,对数据中心网络提出了更高的要求,尤其是AI应用的兴起,使得越来越多的GPU加速计算服务器在数据中心的部署。在这一趋势下,数据中心的耗能问题日益凸显。为了适应网络变革的需要,数据中心的制冷方式也在发生革新,液冷正在兴起。
能耗挑战日益严峻
由于数据中心能耗的居高不下,特别是我国数据中心行业发展比较晚,建设标准相对滞后,平均PUE在2.2~3.0之间。高能耗不仅给企业带来沉重负担,也给社会能源造成巨大浪费。
随着各种云计算大数据业务的蓬勃发展,对底层基础设施的性能要求越来越高。性能的提高直接导致服务器功耗的不断增加。特别是作为服务器关键部件的CPU,随着性能的提升,功耗增加非常显著。例如英特尔上一代的Sandy Bridge功耗为135W,最新一代的Skylake功耗达到了240W.在单机柜服务器数量不变的情况下,整柜的功耗几乎翻番。可见,这会对机房的散热带来极大的挑战。
为了节能,国外做了很多比较激进的尝试,例如微软在海底建设了自给型数据中心,Facebook在靠近北极圈的地方建设数据中心等等,希望通过外部自然条件带来数据中心PUE的收益。2013年工业和信息化部发布《关于数据中心建设布局的指导意见》,国内的大型数据中心也开始在气候适宜、能源充足的地区建设,例如内蒙古、山西北部等,对数据中心的节能带来了一定的收益,但是无法从根本上满足服务器大功耗高密度部署带来的散热需求。
液冷成为“新宠”
为了解决数据中心的高效散热问题,产业界对此做了大量的尝试。利用自然冷源进行Free Cooling是促使PUE降低的一种好方法。此外,产业界在液冷方面也开始进行尝试,目前来看液冷主要有冷板、浸没和喷淋三种技术路线。
冷板液冷是将冷却水从特制的注水口流入,经过密闭的散热管流进主机,带走CPU、内存和硬盘等部件的热量后再流出。这种散热方式同风冷相比,密度更高、更节能、防噪音效果更好。由于液冷技术不需要昂贵的水冷机组,所以采用这种技术后,在减少总体拥有成本的同时,显著提升了数据中心的能源利用效率。
浸没液冷是最近几年备受业界关注的新型散热技术,尤其自SC14起连续多年的全球超级计算大会上,来自国内外的多家服务器企业均展示了在浸没液冷散热上的产品,大幅提高了业界对液冷的关注度。但遗憾的是,受限于技术实现的难度,目前参与浸没液冷服务器设计的企业,对浸没液冷的应用也仅局限于单机测试、单机展示阶段,从公开的信息看,并无服务器集群部署先例。浸没相对于冷板来看,由于是更加直接的热交换,散热效率更高,但也会带来很多的技术挑战。
此外,喷淋式液冷是指对IT设备进行改造,部署相应的喷淋器件,在设备运行时,有针对性地对发热过高器件进行冷却的一种液冷实现方式。这种方式的特点是不需要对机房基础设施做太大的改动,只需对服务器进行少量的改造就能实现较好的冷却性能。喷淋式液冷属于接触式液冷,其稳定可靠性还有待进一步的验证。
还需迈过几道坎
由于尚处于发展初期,液冷技术还面临一些问题和挑战。
首先是原有机房适配的问题。传统机房的承重、管路等设计均采用传统机柜的规格。而在液冷方式下,由于制冷方式的转变,对于部署环境将会有很大的不同。这会带来部署成本、部署难度等方面的问题。
其次,对于浸没式和喷淋式等接触式液冷,液体和IT部件之间的兼容性是我们需要考虑的一个问题。IT部件长期浸泡在相关液体中,是否会对其功能和性能带来影响是我们需要关注和验证的一个重要方面。
再次,液冷的行业标准缺失将会阻碍技术的发展。目前各企业关于液冷的研发处于各自为政野蛮生长的状态,亟须相关的行业标准组织对液冷的标准化进行管理。对液体、供配电、管控、安防和运维等各个方面制订明确的技术要求,促进液冷技术的良性发展。
最后,我国各大服务器厂商基本都在进行液冷服务器的研发,如果国家能有相关专项进行更多的支持,将会更好地推动液冷国产化的发展,拉近我国与国际先进水平的距离,最终实现液冷由“中国制造”向“中国智造”转变。
结语
放眼未来,浸没液冷服务器在高主频计算领域将发挥重要价值,极大地节约能源,最终实现绿色计算。液冷技术的兴起和普及,将引发数据中心和服务器的整个产业链的重构。