[发明专利]一种基于分布式存储的数据备份归档方法和系统

说明书

本发明实施例公开了一种基于分布式存储的数据备份归档方法和系统，涉及数据存储领域。所述方法包括：配置存储桶维度的自定义初始参数；获取用户信息中的桶列表，并存入第一字典；获取资源池中的元数据信息，并根据元数据信息与桶列表中的桶名进行关联，组成第二字典；获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与md5值的相似度，来判断是否删除原文件。本发明实施例能够针对存储内所有磁盘进行扫描，使数据存储更加稳定，通过桶名和桶ID进行多次字典重组，开启多线程进行数据备份归档，提高存储效率。

技术领域

本发明实施例涉及数据存储领域，具体涉及一种基于分布式存储的数据备份归档方法和系统。

背景技术

随着互联网信息技术的迅速发展，每个企业积累了大量的数据，数据的有效保护和经济成本成为企业头等大事。为达到良好的数据保护和体现最佳经济效益，分布式存储应运而生，但数据及时有效备份归档仍是艰巨挑战。

分布式存储是将数据分散存储在多台独立的设备上，分布式网络存储系统采用可扩展的系统结构，利用多台存储服务器分担存储负荷，利用位置服务器定位存储信息，它不但提高了系统的可靠性、可用性和存取效率，还易于扩展。其中，分布式存储中的桶是存放数据文件的存储区域，池是分布式存储存放数据时的逻辑分区，起到租户隔离的作用。

数据在分布式存储设备中存放是以索引的形式存在的，以便于快速检索。在备份归档时，需要对已存数据进行大量、快速遍历，获得其创建时间戳，用以判断是否符合备份归档要求。假如在备份归档时间范围内，进行文件下载；假如不在备份归档时间范围内，跳过。对于符合备份归档要求的数据文件，比较已下载文件与原文件的大小与消息摘要算法第五版即md5值是否相同，如果相同，删除原文件，继续比较下一个文件；如果不相同，放弃，继续备份归档下一个文件。

然而，对分布式存储文件进行大量、快速遍历时，会造成数据索引繁忙，影响正常IO读写，会引起分布式存储内部节点心跳阻塞，造成磁盘无响应，存储进入非健康状态；且现有技术方案进行一次文件遍历只可扫描小于等于1000个文件，且不支持按照桶bucket维度自定义备份归档范围，也不支持按照桶维度自定义设置不同桶内文件归档备份时间。从而导致数据存储不稳定，数据存储压力大，效率低等问题。

发明内容

本发明实施例的目的在于提供一种基于分布式存储的数据备份归档方法和系统，用以解决现有数据备份不稳定，存储区压力大以及效率低的问题。

为实现上述目的，本发明实施例主要提供如下技术方案：

第一方面，本发明实施例提供了一种基于分布式存储的数据备份归档方法，

所述方法包括：配置存储桶维度的自定义初始参数；获取用户信息中的桶列表，并存入第一字典；获取资源池中的元数据信息，并根据所述元数据信息与桶列表中的桶名进行关联，组成第二字典；获取资源池中的对象数据信息，通过比较对象数据信息的时间戳与自定义初始参数中的时间大小，来判断是否进行文件备份归档；通过比较已备份归档的文件与原文件大小，以及，已备份归档文件与信息摘要算法md5值的相似度，来判断是否删除原文件。

进一步地，所述自定义初始参数包括备份归档范围和每一个存储桶的文件归档备份时间。

进一步地，所述获取用户信息中的桶列表，具体包括：通过对象存储接口获取分布式存储中的用户信息，所述用户信息包括密钥，根据密钥获取每个用户的桶列表。

进一步地，所述元数据信息包括桶ID和桶名，通过字典的赋值功能将元数据信息中的桶名与用户信息桶列表中的桶名进行匹配关联，合并成第二字典。

进一步地，所述对象数据信息包括桶ID、数据文件名称和数据文件时间戳。