[发明专利]基于冗余机制的数据存储方法和装置、服务器

说明书

技术领域

本申请涉及网络数据存储与服务技术领域，特别地，涉及一种基于冗余机制的数据存储方法和装置、服务器。

背景技术

目前的分布式文件系统大多采用的是完全副本方式的冗余，该方式只需要有一个副本安全就可以提供服务，但其缺点是存储空间利用率较低，对于一些访问率极低的文件，全量存储和全量备份浪费一定的存储空间。

发明内容

本申请提供一种基于冗余机制的数据存储方法和装置、服务器，用于解决现有技术为保证安全完整而对数据进行全量备份导致的存储空间浪费问题。

本申请公开的一种基于冗余机制的数据存储方法，在服务器端，所述方法包括：按预设的周期检查数据文件的状态，找出访问率小于第一预设访问率阈值的冷数据文件；对所述冷数据文件按预设的数据分片备份容错算法参数进行切片，并将各分片数据存储到不同的存储节点；删除所述冷数据文件；记录各分片数据的存储节点信息。

优选的，还包括：接收客户端发送的数据文件下载请求；判断所述数据文件是否为分片存储的文件；若是，利用数据分片备份容错算法对分片数据进行还原，并将还原后的数据文件返回至客户端；若否，直接将所述数据文件返回至客户端。

优选的，所述方法还包括：在所述冷数据文件的访问率上升为大于或等于第二预设访问率阈值时，利用数据分片备份容错算法对分片数据进行还原，将还原后的数据文件存储到缓存服务节点，并记录所述数据文件的缓存服务节点地址；当收到所述数据文件的下载请求时，直接重定向到所述缓存服务节点；其中，第二预设访问率阈值大于或等于第一预设访问率阈值。

优选的，还包括：当所述缓存服务节点的空闲存储空间率小于预设空闲率阈值或空闲存储空间小于预设空间尺寸阈值时，删除所述缓存服务节点中访问率最低的数据文件，更新所述数据文件的存储节点信息，以及，调整所述第二预设访问率阈值。

优选的，所述分片数据的存储节点包括本地存储节点和第三方数据存储服务节点；当所述分片数据的存储节点为第三方数据存储服务节点时，在所述利用数据分片备份容错算法对分片数据进行还原步骤之前，还包括：将所述分片数据从所述第三方数据存储服务节点下载到本地存储节点。

优选的，还包括：当保存分片数据的存储节点的存储设备出现故障，或保存分片数据的存储节点下线且超过预设下线时间阈值时，调度没有保存所述分片数据的存储节点利用其他分片数据对所述分片数据进行恢复；当存储节点的存储设备的故障恢复后，或下线且超过预设下线时间阈值的存储节点重新上线后，查找与该存储节点的分片数据重复的存储节点，随机删除一份重复的分片数据。

优选的，所述数据分片备份容错算法参数包括切片总数n和能够恢复原数据文件的最少切片数m；存储不同分片数据的存储节点数大于m。。

本申请公开的一种基于冗余机制的数据存储装置，在服务器端，所述装置包括：冷数据文件查找模块，用于按预设的周期检查数据文件的状态，找出访问率小于第一预设访问率阈值的冷数据文件；分片数据生成模块，用于对所述冷数据文件按预设的数据分片备份容错算法参数进行切片，将各分片数据存储到不同的存储节点；以及，删除所述冷数据文件；切片信息存储模块，用于记录各分片数据的存储节点信息。

优选的，还包括：下载请求接收模块，用于接收客户端发送的数据文件下载请求；数据文件返回模块，用于判断请求下载的数据文件是否为分片存储的文件；若是，利用数据分片备份容错算法对分片数据进行还原，并将还原后的数据文件返回至客户端；若否，直接将所述数据文件返回至客户端。

优选的，还包括：冷热数据转换模块，用于当冷数据文件的访问率上升为大于或等于第二预设访问率阈值时；利用数据分片备份容错算法对分片数据进行还原，将还原后的数据文件存储到缓存服务节点，并记录所述数据文件的缓存服务节点地址；当收到所述数据文件的下载请求时，直接重定向到所述缓存服务节点；其中，第二预设访问率阈值大于或等于第一预设访问率阈值；和/或，缓存数据清理模块，用于当所述缓存服务节点的空闲存储空间率小于预设空闲率阈值或空闲存储空间小于预设空间尺寸阈值时，删除所述缓存服务节点中访问率最低的数据文件，更新所述数据文件的存储节点信息，以及，调整所述第二预设访问率阈值。

优选的，还包括：分片数据下载模块，用于当所述分片数据的存储节点为第三方数据存储服务节点时，在所述文件返回模块利用数据分片备份容错算法对分片数据进行还原之前，将所述分片数据从第三方数据存储服务节点下载到本地。

本申请公开的一种服务器，包括上述基于冗余机制的数据存储装置。

与现有技术相比，本申请具有以下优点：