如今,用于云计算和机器学习的新硬件不断地引入到组织的数据中心,并为其带来了更多更强大的工作负载。与此同时,数据中心的整体机架密度越来越高,但并不是所有数据中心都能应对这种情况。
Colovore公司的联合创始人兼首席财务官Coughlin表示,这种情况是由于数据中心行业空间管理和计算能力的保守方法所造成的。他指出,如今许多数据中心经理致力于扩大数据中心的机架规模,而不是提高机架的功率密度。他们将更多机柜的工作负载分开,而不是试图管理那些充满IT设备的机架。
Colovore公司位于加利福尼亚州圣克拉拉市的数据中心内景
Coughlin说:“如果将IT负载压缩到这些机柜的空间中,就会发现机架功率密度可以更高。”
关注“足迹效率”
Colovore公司正在通过设计可以支持更高的机架功率密度的圣克拉拉市托管设施来解决这个“足迹效率”问题。Colovore公司总裁兼联合创始人SeanHolzknecht说:“我们可以帮助用户在其机架中部署更多的IT设备。我们的目标是建立更高的功率密度,因为在很多情况下,用户并没有将他们的机柜布满IT设备。”
Colovore团队表示,由于云计算和人工智能(AI)的应用增长为数据中心带来更多的高密度工作负载,客户将更多的IT设备放在机柜中,并寻求降低IT设备温度的冷却设备,希望从每个机架中获得大的利润。而在数据中心空间有限的市场功率密度问题更为突出,例如圣克拉拉市场。
“我们在此看到很多市场机会。”Cooughlin说。Colovore公司已经在圣克拉拉的数据中心增加了两兆瓦的电力容量,并计划再增加两兆瓦。第一阶段的设计希望达到每个机柜20千瓦(kW)的功率密度,而在第二阶段的建设设计中,将其功率密度提高到每机柜35千瓦。
“我们已经被市场需求所推动,”他说,“一些市场表现好的客户正在推动采用更高的功率密度。”
大多数客户并没有将功率密度推向极限。机架功率密度目前平均为每机柜11千瓦,部分客户达到每机柜18千瓦。Coughlin预计在下一阶段的功率密度平均水平将上升到13kW,有些客户机架功率密度甚至达到了30kW以上。
云计算和人工智能改变游戏规则
在过去十年中,对于更高的机架功率密度即将到来已有大量的预测。然而,极端功率密度仍然有限,主要应用在高性能计算(HPC)。当时人们一致认为,大多数数据中心的平均功率密度为每机架3kW至6kW,超高功率设备平均每机架约10kW.
随着功率密集型硬件(如图形处理单元)和其他用于人工智能和机器学习工作负载的专用芯片的出现,这一情况正在发生变化。
Colovore公司是一家业务不断增长的多租户数据中心供应商,为高功率密度客户提供优化服务Colovore首席技术官PeterHarrison说:“随着行业适应这些设计,客户将会采用这些技术和设备。而数据中心行业没有像这些厂商适应的这么快。”
Colovore公司的圣克拉拉数据中心使用了Vertiv(艾默生网络能源)公司提供后门水冷冷却装置的机架。LinkedIn公司使用了Motivair公司的后门冷却单元,用于冷却其在波特兰附近数据中心的新设备,而新的Nautilus数据技术公司则计划采用ColdLogik公司的后门热交换器冷却机架设备。
托管服务提供商与通道遏制技术
多年来,几家大型托管服务提供商致力于开发高功率密度机架技术与设备。这些厂商其中包括总部在拉斯维加斯的Switch公司和CyrusOne公司,CyrusOne公司为休斯顿地区的石油和天然气厂商的地震勘探数据处理而提供服务。
而另外一家获得机会的托管服务商是ViaWest公司,该公司在美国和加拿大西部经营着29个数据中心。
ViaWest公司首席数据官DaveLeonard说:“有些应用需要这种高密度散热技术,数据中心的功率密度将会增加。人们看到新兴的超融合计算架构的使用,能够进行非常密集的部署。我们希望为客户提供大的灵活性,使他们能够获得他们想要更多部署的计算基础设施。”
大多数多租户供应商主要的高功率密度策略是通道遏制,在机房中实现冷空气与热空气的物理隔离。ViaWest公司采用了一种不同的方法,将部分控制功能与仪器和监控相结合。
该公司在德克萨斯州的Plano数据中心创建了一个测试笼,该测试笼配有负载库(用于模拟测试和调试的电气负载的设备),以演示其功能。
Leonard说:“冷通道的空气可以采用几个关键的方式来管理的。我们将标准的机柜部署适当的地方,以避免通过机柜混合冷热空气。我们在冷通道末端设置一扇门,以避免在柜体端部附近发生热/冷空气混合,并且在冷通道顶部采取措施将冷空气保持在冷通道,不允许热/冷空气混合在机柜的顶部。我们还在构建了一个6英尺的冷通道与地砖瓦片,以允许足够的CFM冷空气进入冷通道。”
ViaWest公司将冷通道的顶部开放,而不是采用管道封闭措施,就像许多高密度解决方案一样。该公司监测环境中机房多个点的空气压力和温度,以确保设备正常冷却。ViaWest公司采用的方法为每个机架中提供了更高的功率密度,但是与标准机架相比,可以采用更多的空间,因为它具有6英尺宽的冷通道。
机柜级冷却解决方案
而几家高功率密度厂商正在使用定制机柜,这其中包括总部在圣地亚哥的数据中心供应商ScaleMatrix公司,它有效地将数据中心缩小成单一的机柜。并缩小了工作负载的体积。
ScaleMatrix公司的动态密度控制柜具有超宽的外壳,拥有两个隔开的空间。一个是底部隔间,其中部署了一个机架(具有额外的深度以容纳HPC服务器)和一个包含热交换器的顶部隔间。空气在机柜内再循环,冷空气通过机架前部的8英寸空气通风口输送到服务器入口。当废气排放到设备的背面后,将上升到冷却室,并在冷却之后再进行循环。
GPU主机厂商CirreScale公司拥有ScaleMatrix公司的一些设备,而且还获得了垂直冷却技术的设计专利,其中来自升降地板下方的冷空气通过穿孔瓦片直接进入机柜的底部。然后将其垂直流过柜体,并排放到天花板通风室中。
浸没在液体冷却溶液中的服务器
在过去一年中,几家厂商开发了具有超高功率密度的液体或制冷剂冷却系统。绝大多数数据中心继续使用空气来冷却IT设备,而液体冷却主要用于高性能计算(HPC)。随着云计算和大数据的广泛出现,越来越多的企业正面临与高性能计算(HPC)行业类似的挑战,这可能是更大规模的数据中心运营商与液体冷却技术相关的原因。
最近的一些例子:
Ebullient公司采用了Novec7000冷却处理器的产品,Novec7000是3M公司生产的液体冷却液,广泛应用于比特币市场的浸出式冷却解决方案中。Ebullient公司并不是将服务器浸泡在溶液中,而是使用管道将介质流体直接传输到处理器,再将冷却液体排出服务器机箱。
GreenRevolution公司的冷却技术将服务器淹没在类似于矿物油的介电液体中。服务器垂直插入插槽中,该槽内充满了250加仑的ElectroSafe液体,这种液体可以传递热量,但不会传导电荷。
Aquila系统公司的Aquarius服务器使用OpenCompute公司为超大型数据中心设计的温水液体冷却。Aquarius系统公司使用集群系统的冷却设计,使用管道来冷却组件顶部的平板。
这一切都加剧了数据中心运营商面临日益增长的设计和选择的难题,这些运营商正在考虑高功率密度工作负载增长的问题。鉴于不同的用例和风险,业界的做法在未来一段时间内可能会保持多元化和复杂化。
当企业评估数据中心托管解决方案时,他们将电源的可用性,可扩展性和可见性视为关键决策标准。了解数据中心设施之间的差异以及这些差异对可靠性的影响,对于选择数据中心合作伙伴至关重要。