[发明专利]利用排序集机制的分片归档回迁存储方法及系统

权利要求书

1.一种利用排序集机制的分片归档回迁存储方法，其特征在于，包括以下步骤：

CLI接收命令来启动各个组件，进行配置周期性归档和文件元数据扫描；

与XDFS进行交互，将生成的数据存入数据库表中，并存储分片文件到冷存储设备在XDFS中保留存根；

当gluster客户端读卷中的本地未归档文件时，将分片元信息{片号：时间戳}保存到Redis的集合cs-hot-{gfid}中；

读写已归档文件时，根据文件扩展属性以及当前读写偏移值，下载对应的分片文件。

2.根据权利要求1所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，通过CLI接收命令来启动各个组件，或将提交的策略、配置参数存入数据库，或依据提交的管理参数来设置XDFS的卷属性。

3.根据权利要求2所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，在经过CLI命令配置了周期性归档和文件元数据扫描之后，将与XDFS进行交互，并将生成的数据存入数据库表中。

4.根据权利要求3所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，一旦归档任务表中，有进入待归档状态的文件，归档任务将读取XDFS中的文件，同时读取文件在Redis中的分片元数据，根据需要，存储分片文件到冷存储设备并在XDFS中保留存根。

5.根据权利要求1所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，元数据组件产生数据，存入元数据表后，任务生成组件基于元数据和策略等信息，得到归档任务，归档管理组件对处于待归档状态的文件进行归档。

6.根据权利要求1所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，数据库设有设备表，任务表和策略表；

其中，所述设备表用于存储关于冷设备的信息，和关联该设备的卷信息；

所述策略表用于存储用户提交的关于冷却时间归档或基于空间的阈值归档策略，以及立即归档；

所述任务表包括：文件的元数据字段file_name，dir_path和access_time、file_type；归档状态字段：arch_status，包括状态值0-4，分别为待归档、正在归档、已归档、已回迁和初始状态；用于查询的policy_name；卷相关字段。

7.根据权利要求1所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述方法中，元数据分为两部分：第一部分为用于分片的元数据，存储在Redis中；第二部分为文件的扩展属性。

8.根据权利要求7所述的一种利用排序集机制的分片归档回迁存储方法，其特征在于，所述分片的元数据包括：

cloudsync-local-{gfid}：当回迁某个分片到本地时，将片号插入到cloudsync-local-{gfid}列表；当归档某个分片到冷存储设备，并释放了片空间时，将片号从该列表删除，并将片号插入到cloudsync-remote-{gfid}列表；

cloudsync-remote-{gfid}：当归档某个分片并释放空间后，将片号插入该列表；

cloudsync-hot-{gfid}：当有文件的写入操作时，将片号和当前时间戳组成键值对{part_no:timestamp}，插入该排序集中，时间戳作为元素的分数；

cloudsync-archiving-restore：临时存储当前正在归档的gfid:part_no:timestamp以及当前归档的时间戳，如果归档成功，则立即从集合中去掉归档成功的成员，如果失败，则等待异常处理任务，该任务获取已超时的分片，重新插入到cloudsync-hot-{gfid}中，并将文件设置成待归档状态，进而完成二次归档；

cloudsync-archiving-file：存储当前归档文件的gfid值，用于不同节点归档任务共同完成一个文件的归档，来达到分布式归档的目的。