[发明专利]一种数据标识方法及系统

权利要求书

1.一种数据标识方法，其特征在于，包括：

从待去重数据中提取匹配字段，并对所述待去重数据包括的关键字段进行计算，获得所述关键字段的散列值；

获取与所述匹配字段相对应的去重文件；

依据所述散列值，定位所述去重文件中的已去重数据；

判断所述待去重数据和所述已去重数据是否相同，如果是，将所述待去重数据标识为重复数据。

2.根据权利要求1所述的数据标识方法，其特征在于，所述去重文件中的已去重数据映射到内存中，且每条已去重数据在所述内存中分段保存；

所述依据所述散列值，定位所述去重文件中的已去重数据包括：

获取所述散列值对应的散列链表地址，以定位所述去重文件映射到内存中的第一条已去重数据；

对于散列链表中除第一条去重数据之外的任意一条已去重数据，获取自身在所述内存中的段序号和段内偏移量以定位自身在所述内存中的位置。

3.根据权利要求2所述的数据标识方法，其特征在于，获取所述散列值对应的散列链表地址包括：

获取所述散列值在索引表中的位置idx，位置idx＝HASH_VALUE％BUCKE_NUM，其中，HASH_VALUE为所述散列值，BUCKE_NUM为索引表的最大记录数，所述索引表用于保存所有散列链表的第一条已去重数据；

获取索引表的首地址ADDR，在内存ADDR+idx中存储的即是散列链表中的第一条已去重数据。

4.根据权利要求3所述的数据标识方法，其特征在于，获取下一条已去重数据在所述内存中的段序号和段内偏移量包括：

获取当前已去重数据在内存中的完整记录，所述当前已去重数据记录包括下一条已去重数据在所述内存中的地址NEXT；

依据所述下一条已去重数据在所述内存中的地址NEXT和所述内存的大小MMDB_SEGSIZE，获取所述下一条已去重数据在所述内存中的段序号和段内偏移量，所述段序号为NEXT/MMDB_SEGSIZE，所述段内偏移量为NEXT％MMDB_SEGSIZE。

5.根据权利要求1所述的数据标识方法，其特征在于，在所述定位所述去重文件中的已去重数据之后，判断所述待去重数据和所述已去重数据是否相同之前，还包括：

在所述内存中未获取到定位的已去重数据的情况下，在所述去重文件中查找该已去重数据，并将该已去重数据映射到内存中。

6.根据权利要求1所述的数据标识方法，其特征在于，判断所述待去重数据和所述已去重数据是否相同包括：判断所述待去重数据对应的关键字段的反向字段的散列值和所述已去重数据在内存中记录的散列值是否相同。

7.根据权利要求1至6所述的数据标识方法，其特征在于，所述对所述待去重数据包括的关键字段进行计算包括：采用循环冗余码校验CRC32码或第五代信息摘要MD5码，对所述关键字段进行计算。

8.一种数据标识系统，其特征在于，包括：

字段获取模块，用于从待去重数据中提取匹配字段，并对所述待去重数据包括的关键字段进行计算，获得所述关键字段的散列值；

文件获取模块，用于获取与所述匹配字段相对应的去重文件；

定位模块，用于依据所述散列值，定位所述去重文件中的已去重数据；

判断模块，用于判断所述待去重数据和所述已去重数据是否相同；

标识模块，用于在所述判断模块判断所述待去重数据和所述已去重数据相同时，将所述待去重数据标识为重复数据。

9.根据权利要求8所述的数据标识系统，其特征在于，所述去重文件中的已去重数据映射到内存中，且每条已去重数据在所述内存中分段保存；

所述定位模块包括：第一定位单元，用于获取所述散列值对应的散列链表地址，以定位所述去重文件映射到内存中的第一条已去重数据；

第二定位单元，用于对于所述散列链表中除第一条去重数据之外的任意一条已去重数据，获取自身在所述内存中的段序号和段内偏移量以定位自身在所述内存中的位置。