[发明专利]一种基于ARM架构的分布式存储系统

说明书

本发明公开了一种基于ARM架构的分布式存储系统，每个SFP+光纤模块与每个ARM处理器电连接；操作系统优化模块用于优化操作系统在ARM架构下的性能；操作系统兼容模块用于操作系统和ARM硬件架构之间的兼容适配；存储软件优化模块用于优化存储软件在ARM架构下的性能；存储软件兼容模块用于存储软件和ARM硬件架构之间的兼容适配；管理模块用于对存储软件及系统进行管理和配置；系统盘单元与每个ARM处理器电连接；数据盘单元与ARM处理器电连接，数据盘单元根据存储需要数量至少设置为1个。在现有的开发环境下，实现ARMCPU、操作系统以及存储软件的适配和兼容，完成节能环保、低成本、高扩展性、高可用性的企业级存储方案。

技术领域

本发明涉及存储技术领域，具体涉及一种基于ARM架构的分布式存储系统。

背景技术

随着支持精简指令集(RISC，Reduced Instruction Set Computer)的ARM架构的发展，特别是随着ARMv8(64位)和多核技术的推出，ARM开始从移动设备进入服务器领域。基于ARM的服务系统可在单个机柜容纳数千个计算核，而功耗只相当于X86(支持CISC指令集的微处理器)的1/3，部署密度和并发能力却提高3倍以上。

在现阶段，特别是大数据的发展，给分布式存储带来了更大的挑战：

第一：容量需求方面，如果想在一个集群中分时或者并行对多个业务的数据进行存储和处理，至少需要100PB的存储容量；目前在阿里云的ODPS平台中，单个盘古存储系统的容量在150PB左右，随着业务发展，这个数字也在不断更新；

第二：高吞吐需求方面，比如要完成1PB数据的排序，需要底层存储在2小时内1PB数据的排序处理分布式存储系统提供350GB/秒的吞吐量；

第三：数据可靠性需求方面，数据可靠性是存储系统需要满足的最关键的需求，在集群中存储了很多业务的历史数据，随着时间发展，存储系统会经历软件升级、硬件损坏等，在这些场景下需要保证数据不会出现错误和丢失。在100PB存储容量下，存储系统需要达到99.999999％的数据可靠性，在这样标准下系统出现一次数据对象丢失的概率为0.01；

第四：服务可用性需求方面，在系统运行过程中，软件升级、软件缺陷、供电和网络系统维护、硬件失效都有可能中断系统服务。如果系统可以达到99.95％的可用性，那么一年累计会有5个小时左右的时间不能对外提供服务。通常对于在线服务业务，分布式存储系统会同上层业务逻辑一起来规避短暂的不可以服务时间，让整个服务有99.99％以上的高可用能力；

第五：高效运维需求，由于大数据要求的存储容量和系统吞吐量非常高，支持的业务种类也变得非常多而且多变，所以借助于分布式的处理能力会增加众多的物理硬件设备，同时软件的复杂度也呈现指数级增加。在这样的场景下，需要分布式存储系统提供自动化运维方法，来防止硬件失效和软件缺陷导致的问题；

第六：低成本需求，随着数据规模变大，如果完全靠高硬件来提高整个系统的处理能力，势必会将成本变得非常高。分布式存储系统为了降低成本，通常会采用数据压缩、混合存储方式来降低成本。

在单个计算机上，偶尔会遇到硬件错误导致机器重启、数据错误，由于操作系统缺陷遇到的系统死机现象也不多见。但是在大数据场景下要求有大规模的分布式存储系统，面对的是成千上万的计算机节点，同时每个节点上都承载了比平时单个计算机更繁重的计算和IO压力，所以如何保证数据可靠、服务稳定的前提下高效的处理小概率错误，是大数据对于分布式存储系统提出的最大挑战。

现有存储服务器技术大多基于x86架构，耗电量及成本较高。而ARM架构在服务器领域存在生态圈小，操作系统和应用软件适配性差，开发困难等问题。

发明内容