[发明专利]一种基于KDFS系统的文件备份方法与系统

说明书

本发明公开了一种基于KDFS系统的文件备份方法与系统，获取用户上传文件，通过预设级别判定规则判定所述文件所属的应用标识的级别，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量，根据所述目标备份数量对所述各集群分别进行所述文件的备份，可以为上传文件所属的应用标识进行等级划分，根据不同的等级对KDFS系统中的各集群分别进行不同备份数量的文件备份，可以根据文件所属应用标识对应的重要程度有针对地调整集群的备份数量进行文件备份，在保证文件安全的同时，极大地减少文件备份对磁盘空间的负担。

技术领域

本发明涉及文件备份领域，特别是涉及一种基于KDFS系统的文件备份方法与系统。

背景技术

在云存储服务中，文件冗余备份是非常重要的组成部分。由于容量、扩容、数据安全、数据备份等方面的优势，文件都是存储在分布式文件系统中。KDFS为一种跨集群的分布式文件系统，如图1所示，KDFS系统包括Hadoop分布式文件系统HDFS和FASTDFS轻量级分布式文件系统FastDFS。

用户上传文件后，分布式文件系统会将文件的多个备份分散存储在集群内的多个服务器上，保证文件不会因为某个服务器宕机或磁盘损坏等故障导致文件丢失，在现有的分布式文件系统和云存储服务中普遍采用冗余备份的方式保存文件。

然而，现有的文件备份机制都是基于集群的，开发者只能设置文件在单个集群中的备份数量，这就导致在KDFS中文件的备份数量过多，有些备份为非必要的，进行不必要的备份可能会对磁盘空间造成负担。

发明内容

有鉴于此，本发明的主要目的在于提供一种基于KDFS系统的文件备份方法与系统，可以有针对地调整集群的备份数量进行文件备份。

为实现上述目的，本发明提供了一种基于KDFS系统的文件备份方法，包括：

步骤A：获取用户上传文件；

步骤B：通过预设级别判定规则判定所述文件所属的应用标识的级别；

步骤C：根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量；

步骤D：根据所述目标备份数量对所述各集群分别进行所述文件的备份。

优选地，通过预设级别判定规则判定所述文件所属的应用标识的级别包括：

判断所述文件所属的应用标识是否存储于优先级列表中，如果是，则确定所述文件所属的应用标识为优先级别，否则将所有评级的应用标识对应的访问参数由大到小进行排序，当所述应用标识对应的访问参数在所述排序中位于前第一预设比例时，确定所述应用标识为第一级别，当在所述排序中位于前第一预设比例至前第二预设比例之间时，确定所述应用标识为第二级别，当在所述排序中位于前第二预设比例之后时，确定所述应用标识为第三级别。

优选地，所述访问参数包括：

所述应用标识对应的访问用户数量与所述应用标识对应的访问次数。

优选地，根据所述级别通过预设备份数量确定规则确定KDFS系统中各集群的目标备份数量包括：

当所述文件所属的应用标识为优先级别时，根据指令确定KDFS系统中各集群的目标备份数量；

当所述文件所属的应用标识为第一级别时，确定KDFS系统中各集群的目标备份数量均为第一预设数量；

当所述文件所属的应用标识为第二级别时，确定上传的所述文件所在集群的目标备份数量为第一预设数量，确定KDFS系统中除上传的所述文件所在集群之外的其他各集群的目标备份数量均为小于第一预设数量的第二预设数量；

当所述文件所属的应用标识为第三级别时，确定KDFS系统中各集群的目标备份数量均为第二预设数量。