[发明专利]利用排序集机制的分片归档回迁存储方法及系统

说明书

本发明涉及数据存储技术领域，具体涉及一种利用排序集机制的分片归档回迁存储方法及系统，包括以下步骤：CLI接收命令来启动各个组件，进行配置周期性归档和文件元数据扫描；与XDFS进行交互，将生成的数据存入数据库表中，并存储分片文件到冷存储设备在XDFS中保留存根；当gluster客户端读卷中的本地未归档文件时，将分片元信息{片号：时间戳}保存到Redis的集合cs‑hot‑{gfid}中；读写已归档文件时，根据文件扩展属性以及当前读写偏移值，下载对应的分片文件。本发明对现有的紧张存储空间，提供一种低成本扩容方案；通过分片元数据设计，最小化系统的网络和CPU资源；通过分布式归档的设计，获取最大的吞吐性能。

技术领域

本发明涉及数据存储技术领域，具体涉及一种利用排序集机制的分片归档回迁存储方法及系统。

背景技术

随着对存储需求的日益增大，产生了一个存储的细分领域，下面概括三种应用场景：

医疗PACS影像归档上云存储：医院每天产生大量PACS影像，如果只使用本地存储设备，将需要经常定期对存储设备进行扩容，那么存储成本和运维成本都随之不断增大。而PACS影像数据，有一个明显的特点，访问频率将随着时间的推移，不断降低，特别适合将这些低频访问的影像存储到成本更低的云存储设备。另外，提供的实时上传功能，使得云存储可以作为PACS影像存储的备份系统，在本地存储空间吃紧的状态时，通过提交删除策略，可以将已经保存到云存储的文件，删除对应的本地文件并保留存根，当未来需要读取时，可以逐个或批量下载到本地。

视频监控上云：随着高清视频的迅速普及，对后端存储系统提出更高的容量和性能需求，然而，通过部署云归档系统，定制冷却周期策略，能将保存时间超过指定周期的视频文件，上传到没有容量限制的云存储上，立即释放本地空间或通过提交策略删除已经上传到云存储的本地版本，可以大大降低总的存储成本。

iSCSI卷网关：对于只支持iSCSI卷存储的视频流数据，通过云归档系统，实现这类数据流轻松上云，达到扩展存储容量的目的。

这三种典型的应用场景，以及其它需求，这些需求中，都面临大文件的远程读写以及读写体验的问题。

发明内容

针对现有技术的不足，本发明公开了一种利用排序集机制的分片归档回迁存储方法及系统，用于解决上述问题。

本发明通过以下技术方案予以实现：

第一方面，本发明提供了一种利用排序集机制的分片归档回迁存储方法，包括以下步骤：

CLI接收命令来启动各个组件，进行配置周期性归档和文件元数据扫描；

与XDFS进行交互，将生成的数据存入数据库表中，并存储分片文件到冷存储设备在XDFS中保留存根；

当gluster客户端读卷中的本地未归档文件时，将分片元信息{片号：时间戳}保存到Redis的集合cs-hot-{gfid}中；

读写已归档文件时，根据文件扩展属性以及当前读写偏移值，下载对应的分片文件。

更进一步的，所述方法中，通过CLI接收命令来启动各个组件，或将提交的策略、配置参数存入数据库，或依据提交的管理参数来设置XDFS的卷属性。

更进一步的，所述方法中，在经过CLI命令配置了周期性归档和文件元数据扫描之后，将与XDFS进行交互，并将生成的数据存入数据库表中。

更进一步的，所述方法中，一旦归档任务表中，有进入待归档状态的文件，归档任务将读取XDFS中的文件，同时读取文件在Redis中的分片元数据，根据需要，存储分片文件到冷存储设备并在XDFS中保留存根。

更进一步的，所述方法中，元数据组件产生数据，存入元数据表后，任务生成组件基于元数据和策略等信息，得到归档任务，归档管理组件对处于待归档状态的文件进行归档。

更进一步的，所述方法中，数据库设有设备表，任务表和策略表；