2020年6月，Hyperion Research发布了最新HPC市场研究报告表明，HPC存储已成为HPC市场中增长最快的部分。预计2019至2024年，HPC存储复合年均增长率为12.1%，高于HPC服务器的8.7%，预计到2024年收入约为99亿美元。
报告还对过去5年，工业、政府以及学术研究机构采用的HPC文件系统进行了深入调查分析。结论是，NFS仍然是目前广泛采用的文件系统，但使用率已从2015年的54%下降到2019年的46%。Lustre、HDFS、GPFS/Sectrum Scale则分别实现增长，其中Lustre由21%增长至32.5%、HDFS由15%增长至24.7%、GPFS/Sectrum Scale由23%增长至26.8%。
在调查的194个超级计算机站点中，共使用了349个文件系统，平均每个站点使用1.8个文件系统。 超过50%的政府网站和30%的学术网站使用Lustre和GPFS/Sectrum Scale，工业选择NFS、HDFS和RedHat的居多。除此之外，GFS、CEPH和Pan FS占比虽然不高，但在政府、学术界和工业都不同程度的应用。
HPC存储“大家谈”
无论是开源还是商用存储，也不管选用哪种分布式文件系统，HPC存储技术发展终究是要适应市场的需求，特别是适应当前企业不断深化的数字化转型和智能化升级需求。随着云计算、大数据以及AI融入到千行百业，无论是传统企业、政府还是学术研究机构，数据的快速增长将避无可避，由此带来的庞大数据处理与分析需求，势必推动HPC存储厂商的技术创新和变革。
面对快速增长的数据存储、管理、分析、低延时、高带宽的应用需求。HPC存储厂商在做什么?总结来说，主流厂商都在瞄准大数据分析和AI分析场景，通过收购或技术创新不断提升HPC存储性能。
作为存储行业的老牌厂商，戴尔易安信有着丰富的HPC解决方案组合，既有基于Lustre、BeeGFS包装的并行存储解决方案主打传统HPC场景，又有基于PowerScale(前Isilon)构建的数据湖解决方案主打HPDA场景，同时推出了系列全闪存储机型和PowerEdge服务器、400GbE开放式网络交换机等形成AI就绪解决方案，通过多种方案组合应对传统HPC向HPDA、HPC-based AI演进趋势。
IBM正在将软件定义的IBM Spectrum Scale存储产品与基于 IBM POWER9处理器的I/O密集型服务器结合起来。通过将整个组织的存储需求整合到 IBM ESS 5000 和基于 NVMe的ESS 3000上，支持需求苛刻的 HPC、分析和/或高容量存储需求。IBM ESS 5000专为数据湖而设计，单个节点的性能可达到 55 GB/秒，可扩展至尧字节级容量。
戴尔易安信和IBM都将存储未来的发展压向“AI、分析和HPC”应用，足见各大厂商对HPDA、HPC-based AI应用场景方向的看好和认可。
作为一家专注于高性能计算存储的供应商，DDN拥有一系列快速访问和可扩展阵列，可单独使用，也可以与GRIDscaler Spectrum Scale和EXAscaler Lustre系列中的横向扩展并行文件系统捆绑使用。近年来，DDN通过一系列的收购来强化其存储系统面向AI、5G等场景的支撑能力。2019年收购软件定义存储公司Nexenta，该公司拥有一系列文件，块和对象存储软件产品，以及基于ZFS文件系统。Nexenta已进入了市场，其在物联网市场也在开拓计划中。收购Nexenta，不仅能拓展DDN存储面向5G、AI以及物联网等场景的能力，还可以在Lustre和Spectrum Scale产品之下获得更为通用的文件存储。
对比业界几种主流的文件系统，Lustre作为超20年历史的老牌开源并行文件系统，专门面向HPC场景设计，具有很强的扩展性和超高的带宽能力，HPC场景生态上也支持度很高。但开源文件系统的通病也在它身上充分体现出来，系统复杂性高和调优维护复杂是客户对Lustre诟病最多的点，同时，Lustre的企业特性较少，小文件性能偏弱也成为其面向HPDA/AI场景演进的障碍。
IBM Spectrum Scale(前GPFS)作为并行文件系统的另一大分支，相比Lustre在企业特性方面和小文件性能上有了较大的增强，但仍然没能摆脱系统复杂性高和调优维护复杂的帽子，随着IBM近两年在整体存储市场走弱，Spectrum Scale也面临困境。
PowerScale的OneFS作为通用分布式文件系统的代表，凭借多协议互通能力和系统易用性，在新兴的以自动驾驶为代表的HPDA场景斩获了较多的市场份额，但不支持MPI并行访问接口和相对较弱的性能，又限制了其在HPDA场景的竞争力。
随着传统HPC向HPDA、HPC-based AI方向演进，各行业迎来了数据量爆发和异构算力加入，那么有没有一种存储能解决企业的所有需求，应对跨协议访问、混合负载性能、成本、可靠性等多方面给存储带来新的挑战?
2020年HC大会期间，国内存储市场的领军者华为正式发布新一代HPDA存储解决方案，依托OceanStor Pacific提供的多协议互通、面向混合负载、超高密设计能力，强势进军HPC/HPDA市场。华为作为国内顶尖科技公司的代表，一旦全力投入某个领域，还是能给我们带来很多期待的：
首先，华为OceanStor Pacific可以实现POSIX/MPI/NFS/CIFS/HDFS/S3等多种协议的无损互通，实现HPDA场景下不同协议访问的数据零拷贝。相比业界网关式的协议互通，OceanStor Pacific的多服务构建在统一的非结构化数据底座上，每种协议均可直接访问，无需网关或插件，从而可以实现性能无损和语义无损的协议互通能力，同时各服务能够共享数据底座丰富的特性能力。
其次，华为OceanFS新一代并行文件系统，架构设计时同时继承了分布式存储的高并发带宽能力和集中式存储的小文件高OPS能力，再辅以DPC(Distributed Parallel Client)分布式并行客户端支持MPI-IO，实现单流和单客户端性能加速，实现了面向混合负载的全场景加速，能够更从容的应对HPDA场景的复杂业务负载。
针对HPC和大数据、AI技术融合后带来的数据量爆发，华为OceanStor Pacific还推出了系列化高密硬件，来降低海量数据的空间占用和存储成本。OceanStor Pacific 9950高密NVMe全闪机型可在5U空间提供高达160GB/s的带宽和200万的IOPS性能;OceanStor Pacific 9550高密大容量机型则可在5U空间放置120块HDD盘，提供高达1.68PB裸容量，通过两者的分级，可以实现数据的性能与成本均衡。
历史上，华为强势进军某个领域，都给该领域带来了巨大的变化，这次华为凭借系列硬核技术发力HPC/HPDA场景，我们也有理由相信将推动HPC向HPDA、HPC-based AI方向的快速演进，实现HPC产业升级。我们也期待有更多的存储厂商发力HPDA场景，让HPDA存储的春天早日到来!
热门专题
