[发明专利]一种分布式文件重复数据删除系统及方法

权利要求书

1.一种分布式文件重复数据删除系统，其特征在于，包括

元信息服务节点，元信息服务节点用于管理数据块的内容地址，所述数据块的内容地址包括数据块的指纹值、引用者数量、文件路径及名字、数据块相对文件的偏移、数据块的大小以及文件创建时间；

元信息表，用于存储HDFS系统中所有数据块的内容地址；所述元信息表中增加一个id值以替换hash值作为元信息表的主键，用于避免元信息表并发写入文件时发生主键冲突；元信息表包括7个字段分别是主键id、hash值、文件路径及名字、数据块相对文件的偏移、数据块的大小、文件创建时间以及使用者数量；

至少一个HDFS客户端，其包括元信息服务节点和元信息表，去重文件在HDFS客户端上写入，HDFS客户端将去重文件切分为多个数据块，计算每个数据块的指纹值，并调用元信息服务节点查询元信息表，去除重复的数据块，之后将剩余数据块和索引数据重组后生成新的索引文件，并与NameNode节点交互将索引文件存储到HDFS上，同时将新产生的数据指纹存储在HDFS客户端数据库的元信息表中。

2.根据权利要求1所述的一种分布式文件重复数据删除系统，其特征在于，所述数据库为MySQL数据库，其事物隔离级别设置为读已提交，用于保证去重后的数据块指纹值能够并发的写入到元信息表。

3.一种分布式文件重复数据删除方法，基于权利要求1所述的一种分布式文件重复数据删除系统实现，其特征在于，包括以下步骤：

文件读取，HDFS客户端随机读取去重文件，并核对去重文件的文件权限属性信息，无误后打开去重文件，同时将文件打开信息存储到元信息表中；

数据切分，HDFS客户端并行调用基于内容的切块算法对打开的去重文件数据进行切分，将去重文件切分为多个数据块；

计算指纹值，HDFS客户端根据哈希函数计算出多个数据块的指纹值；

数据块去重，HDFS客户端根据计算出的多个数据块指纹值，通过元信息服务节点查询元信息表中HDFS系统所有数据块的指纹值，并将二者进行比较，去掉重复的数据块，同时将剩余数据块的指纹值写入到HDFS客户端数据库的元信息表中；

文件存储，HDFS客户端将剩余的数据块和索引数据重组为新的索引文件，将索引文件存储到HDFS上。