[发明专利]一种集群系统中文件的管理方法和系统

说明书

技术领域

本发明涉及网络通信领域，尤其涉及一种集群系统中文件的管理方法和系统。

背景技术

目前，大规模的集群文件系统能为多达数百个客户端提供服务。这些客户端上的文件都保存在一个集群中，如果直接在集群节点上查看文件比较麻烦，特别是对分布式文件系统；如果到具体的客户端节点上查询，无疑也是一项烦琐的工作，因此如何降低管理客户端文件的压力。

一个大规模的集群文件系统每天都会产生大量的数据，如果将这些数据收集到一起，这无疑要求很大的存储空间。但是，存储的文件数据中有很多冗余的、重复的数据，这些数据是不需要保存的，因此如何有效的使用存储空间是现有技术中亟待解决的技术问题。

发明内容

本发明提供一种集群系统中文件的管理方法和系统，要解决的技术问题是如何降低管理压力。

为解决上述技术问题，本发明提供了如下技术方案：

一种集群系统中文件的管理方法，包括：

获取一个写入周期内集群系统中各客户端写入的全部数据块；

将得到的数据块集中存储在同一个存储介质中；

通过从该存储介质读取数据，实现对客户端上文件的管理。

优选的，所述方法还具有如下特点：所述将得到的数据块集中存储在同一个存储介质中，包括：

如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个，并获取所述至少两个数据块的编号，配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块。

优选的，所述方法还具有如下特点：所述存储介质按照数据块所属的客户端或数据块的写入周期进行分类存储的。

优选的，所述方法还具有如下特点：所述通过从该存储介质读取数据，实现对客户端上文件的管理，包括：

当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块；

根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。

一种集群系统中文件的管理系统，包括：

获取装置，用于获取一个写入周期内集群系统中各客户端写入的全部数据块；

存储装置，与所述获取装置相连，用于将得到的数据块集中存储在同一个存储介质中；

管理装置，与所述存储装置相连，用于通过从该存储介质读取数据，实现对客户端上文件的管理。

优选的，所述系统还具有如下特点：所述存储装置包括：

保存模块，用于如果获取到的数据块中至少两个数据块相同，则在所述存储介质上仅保存至少两个数据块中的一个；

获取模块，用于获取所述至少两个数据块的编号；

配置模块，与所述保存模块和所述获取模块相连，用于配置所述至少两个数据块的编号均指向存储介质上少两个数据块中仅保存的数据块。

优选的，所述系统还具有如下特点：所述存储模块按照数据块所属的客户端或数据块的写入周期分类存储数据块。

优选的，所述系统还具有如下特点：所述管理装置包括：

读取模块，用于当接收到某一客户端本地存储的文件发生损坏时，根据发生损坏的文件的信息，从存储介质上读取发生损坏的文件对应的数据块；

处理模块，与所述读取模块相连，用于根据所述存储介质上发生损坏的文件对应的数据块，对发生损坏的文件进行数据恢复。

本发明提供的实施例，在大规模集群文件系统中，客户端比较多的情况下，将多有客户端的文件收集到一个存储介质上。这样，管理员就可以不用到每个客户端节点上查询文件，通过查看由客户端同步到存储介质上的文件，实现对客户端文件的管理，不需要逐个查看每一个客户端上文件内容，降低了管理的复杂度，管理起来方面、快捷，同时也起到了多有客户端文件备份的功能。因为从集群文件系统搭建还好开始多所有客户端的文件同步，会保存客户端上所有的文件，也就间接的实现了文件备份的功能。

附图说明

图1为本发明提供的集群系统中文件的管理方法实施例的流程示意图；

图2为本发明提供的集群系统中文件的管理系统实施例的结构示意图。。

具体实施方式

为使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明作进一步的详细描述。需要说明的是，在不冲突的情况下，本申请中的实施例及实施例中的特征可以相互任意组合。

图1为本发明提供的集群系统中文件的管理方法实施例的流程示意图。图1所示方法实施例，包括：