全闪存

软件定义的超融合虽然有着诸多的优势,但对软件开发商提出了非常高的要求,他们非但要精通各种语言、系统和架构,还必须要熟悉硬件本身的性能,这样才能够保证开发出来的软件能够全部发挥硬件的性能。

 

软件定义基础架构,软件定义存储,软件定义存储。目前,用软件定义超融合的方式替代专用服务器、专用网络、专用存储设备等传统基础架构的方法,已经成为了行业的热点。英特尔系统架构师朱海峰先生曾在某超融合大会上公开表示,未来的大型数据中心的建设,将采用标准X86硬件构建作为整个数据中心的基础架构,通过软件厂商比较强的软件定义能力来实现存储、网络和计算等功能,并通过各种软件定义的解决方案来实现超融合。这也就意味着,软件定义已经成为行业的重点技术。

软件定义的主要目的是减化部署流程,提高易用性,降低运维成本。当然,最重要的是能够发挥硬件的全部性能,合理分配利用硬件资源,节省硬件开支。

不过,软件定义的超融合虽然有着诸多的优势,但对软件开发商提出了非常高的要求,他们非但要精通各种语言、系统和架构,还必须要熟悉硬件本身的性能,这样才能够保证开发出来的软件能够全部发挥硬件的性能。

关于软件定义带来的硬件性能的损失,比较典型的例子就是软件定义存储导致的磁盘性能的下降,这主要是在全闪存时代背景下,磁盘性能有了非常大的提升,如果在软件定义的过程中还是按照传统机械硬盘的性能还编写系统,那就完全无法发挥闪存的性能。笔者在某超融合的大会上,就曾遇到过一家专门作软件定义存储解决方案的厂商,它们针对Flash时代开发出了裸金属软件定义存储技术,非常好的解决了软件定义存储无法充分发挥全闪存硬件性能的问题。

这里,笔者与大家共同分享一下他们的解决方案和研发思路,希望对大家有所启发。

我们知道,在Flash之前,存储性能的发展是严重滞后于其它硬件性能的发展的,虽然大家通过各种方法来提高磁盘的存储性能,但相较于其它硬件的发展,存储的性能提升并不理想。在Flash时代,存储硬件性能的问题迎刃而解。不过,很多厂商在替换全闪存阵列后,发现存储的性能并没有提高多少,这主要是软件和系统出现了问题。

由于Linux标准的API并没有提供高性能的场景设计,因此操作系统成为了影响系统整体性能的瓶颈,无论你在一个设备上插入多少硬件,调用多少资源,都会发现一个节点一二十万iops就到了这些软件定义存储的上限了,这是因为Linux系统的任务调度,内存管理,以及系统调用,都是非常缓慢,完全不适合Flash时代的需求。

如何解决这一问题呢,裸金属软件定义存储技术是通过以下两种方法解决的:

一是硬件访问要绕过操作系统(stack-bypass);

二是软件运行要绕过操作系统(os-bypass)。

对于硬件的访问要绕过操作系统(stack-bypass)这种技术业内已经有相对比较成熟了,也比较容易实现。比如英特尔提供的DPDK/SPDK,Mellanox的RDMA,都不需要经过操作系统就可以直接访问硬件。但是,软件运行绕过操作系统(os-bypass)的难度却比较大。首先,要绕过操作系统的内存管理,直接访问物理内存,自己来实现内存管理,这中间要考虑NUMA,染色等问题,工程量非常大。其次,任务调度也要考虑的非常清楚,过去解决高并发问题的时候大家就会采用多线程的机制,但是多线程一般在数百并发的时候会变得比较困难,通过引入了协程技术,把任务之间的协作来分配时间片,每个任务处理完之后自动放弃时间片,而不是操作系统让他强制放弃时间片。另外,在事件处理上过去通过操作系统标准来实现,每个事件都跟时间有关,包括硬件系统的时钟中断。但是这个技术并不是非常的高效,在这方面可以采用polling技术,没有时间延期的。

在多核同步上,目前 CPU的核数越来越多,过去编程的时候大家会采用生产者、消费者模型,用线程用来处理任务,但是到现在多核同步并不是一个非常高效的方案,这主要是因为NUMA和cachemiss问题,虽然说NUMA问题CPU解决的还可以,但是仍然不够理想,这时可以采用run-complete模型,每个CPU的核从他接受到任务,到完成任务中间不再任何跳转,避免隐性的CPU开销。

通过以上的方案,能够拿掉尽可能多的环节,包括进出Linux的网络堆栈、Linux的存储堆栈,这样就能够让剩下的流程全是在硬件上运行的。最后,通过这些技术的运用,能够让存储的性能与硬件性能几乎完全一致,不带来硬件性能的任何衰减。

以上,是某厂商针对全闪存时代在软件定义过程中出现的影响硬件性能的解决方案,笔者分享给大家,希望提供一些参考。

关注中国IDC圈官方微信:idc-quan或微信号:821496803 我们将定期推送IDC产业最新资讯

查看心情排行你看到此篇文章的感受是:


  • 支持

  • 高兴

  • 震惊

  • 愤怒

  • 无聊

  • 无奈

  • 谎言

  • 枪稿

  • 不解

  • 标题党
2017-06-26 14:39:50
大数据资讯 专访艾比格特战鹏州:打破机械存储 构建数据智能整合中心
智能互联网时代来袭,云计算、大数据、人工智能等新技术给各行各业带来新一轮的变革,面对新的冲击,一批具有互联网+基因的创新型企业正在崛起。 <详情>
2017-06-14 17:35:32
交换存储 将信息像存银行一样存在数据中心
利用云计算技术实现服务和管理提档升级,逐步在各行业流行。据中国电信苏州分公司云计算运营中心负责人彭军介绍,截至目前,全苏州与该中心建立业务合作的单位、项目、个人 <详情>
2017-06-09 09:33:49
大数据资讯 大数据时代聊存储 这些技术名词你懂吗
在这个时代最大的改变就是存储变得越来越重要,这些关键的技术名词你又听得懂吗?快跟笔者一起来温故而知新吧。 <详情>
2017-05-16 10:44:14
大数据资讯 英特尔企业级市场新布局,3D+NAND如何挑大梁?
提到3D NAND,我们首先想到的就是Intel,这是其与美光的合资企业所研发的一种新兴的闪存类型。 <详情>
2017-05-08 10:06:39
机房建设 十分钟看懂时序数据库(I)-存储
2017年时序数据库忽然火了起来。开年2月Facebook开源了beringei时序数据库;到了4月基于PostgreSQL打造的时序数据库TimeScaleDB也开源了,而早在2016年7月,百度云在其天工 <详情>