[发明专利]基于GlusterFS分布式文件系统的离线去重方法

权利要求书

1.一种基于GlusterFS分布式文件系统的离线去重方法，其特征在于：包括以下步骤：

步骤1：遍历分布式文件系统中的所有的文件，采用哈希算法计算出所有文件的哈希值；

步骤2：将文件的大小和哈希值作为Key值，建立哈希树；

步骤3：判断分布式文件系统中是否存在大小相同且哈希值相同的多个文件，如果存在，选择一组大小相同且哈希值相同的多个文件并将该多个文件均标记为相同文件，将所述相同文件添加到相同文件所对应的节点指向的链表中；

步骤4：根据分布式文件系统中每个存储设备的剩余容量大小和每个存储设备中存储的所述相同文件的个数从分布式文件系统中选择一个存储设备并将该存储设备标记为指定移动存储设备，具体包括以下步骤：

（1）读取分布式文件系统中每个存储设备的剩余容量大小，并判断分布式文件系统中每个存储设备中存储的所述相同文件的个数；

（2）将每个存储设备按照存储的所述相同文件的个数大小进行降序排列，即将存储的所述相同文件的个数最多的存储设备排在第一位，将排在第一位的存储设备标记为待确定移动存储设备，判断该待确定移动存储设备的剩余容量大小是否大于分布式文件系统中的其他存储设备中存储的所述相同文件的总大小，若大于，则将待确定移动存储设备标记为指定移动存储设备，否则，执行步骤（3）；

（3）将排在第二位的存储设备标记为待确定移动存储设备，判断该待确定移动存储设备的剩余容量大小是否大于分布式文件系统中的其他存储设备中存储的相同文件的总大小，若大于，则将该待确定移动存储设备标记为指定移动存储设备，否则，将排在第三位的存储设备标记为待确定移动存储设备，按照上面的顺序进行判断直到选取一个排位在前面的存储设备且该存储设备的剩余容量大小大于分布式文件系统中的其他存储设备中存储的所述相同文件的总大小，选取的存储设备即为指定移动存储设备；

步骤5：将分布式文件系统中的存储设备中存储的所述相同文件均移动到指定移动存储设备中；

步骤6：采用文件去重方法从指定移动存储设备中删除所述相同文件，保证所述相同文件只有一份，返回执行步骤3，直到将分布式文件系统包含的所有组合的相同文件均进行去重操作，结束。

2.根据权利要求1所述的基于GlusterFS分布式文件系统的离线去重方法，其特征在于，所述相同文件包括相同的设备文件和相同的链接文件。