[发明专利]一种文件高可用的存储系统和方法

说明书

本申请公开了一种文件高可用的存储系统和方法，该系统包括：多级存储模块和调度模块；所述多级存储模块，包括多个具有不同文件读写速率的存储节点，用于对调度模块发送的待存储文件进行存储；所述调度模块，用于读取待存储文件，并根据预设阶梯存储策略将待存储文件发送给所述多级存储模块。本发明通过调度模块根据预设阶梯存储策略对待存储文件进行分类，将分类后的待存储文件发送给相应的存储节点进行存储，在保证文件高可用的前提下实现存储资源和存储成本的利益最大化。同时，由于多级存储模块采用不同类型的存储介质，解决了当同一种存储介质的数据写入方式存在逻辑错误时，导致所有同类型的存储介质都无法正确写入文件的问题。

技术领域

本发明涉及分布式存储技术领域，具体涉及一种文件高可用的存储系统和方法。

背景技术

随着信息技术的高速发展，数据规模呈现爆炸式增长，对数据进行分析和利用之前，往往会采用分布式的文件系统如对象存储进行数据存储，将文件存储在多个存储介质中。这种方式与传统的将文件存储在单一存储介质中的存储方案相比，具有一定的容错性，能够在一台或者多台存储服务器宕机时，保证文件的正常存储，不会出现传统方式存在的当某一台存储服务器出现故障时，所有文件都无法写入的情况。但分布式文件系统仍然无法完全确保因其他原因导致异常情况发生时所有文件都能正常写入，如：当分布式文件系统使用的是同一种介质时，如果这种介质的写入方式发生逻辑错误，会导致存储数据在分布式文件系统的写入均不成功。

为了解决在异常情况发生时所有文件能正常写入，现有技术中在分布式文件系统使用了多级存储的方案，通常为主主或者主备的方式，当其中一级或者几级存储设备故障时，还有其他不同种类的存储设备可以正常写入，但这样操作的结果是对同样的文件进行存储时，最终会在每一级存储上都保存一份。这种方式虽然保证了文件的高可用，但是造成了存储资源的成倍增加，极大的浪费了存储的资源。

因此，需要提供一种文件高可用的存储系统，用以解决现有技术中分布式文件系统多级存储方案中存在的由于需要在每一级存储设备中都对相同的文件进行存储，从而导致存储资源的利用效率低、存储资源占用大的技术问题。

发明内容

有鉴于此，有必要提供一种文件高可用的存储系统和方法，能够解决现有技术中存在的由于需要在分布式文件系统的每一级存储设备中都对相同的文件进行存储，从而导致存储资源的利用效率低、存储资源占用大的技术问题，能够使存储资源和存储成本的利益最大化。

为了解决上述问题，本发明提供一种文件高可用的存储系统，包括：多级存储模块和调度模块；

所述多级存储模块，包括多个具有不同文件读写速率的存储节点，用于对所述调度模块发送的待存储文件进行存储；

所述调度模块，用于读取待存储文件，并根据预设阶梯存储策略将所述待存储文件发送给所述多级存储模块；

其中，所述预设阶梯存储策略包括：对多个所述存储节点按照文件读写速率依次进行优先级排序，文件读写速率越高的存储节点优先级越高；

对所述待存储文件按照访问时间顺序依次进行级别排序，访问时间越临近的待存储文件级别越高；

根据所述存储节点的优先级和待存储文件的级别，建立存储节点和文件的对应关系，将级别越高的文件存入优先级越高的存储节点。

在一些可能的实现方式中，所述系统还包括监测模块；

所述监测模块用于判断所述多级存储模块是否发生故障；当所述多级存储模块发生故障时，向所述调度模块发送暂存指令，当所述多级存储模块恢复运行后，向所述调度模块发送存储恢复指令；

所述调度模块还用于，根据所述监测模块发送的暂存指令和存储恢复指令对所述待存储文件进行标记，并将所述标记后的待存储文件发送给所述多级存储模块。