[发明专利]一种数据标识方法及系统

说明书

技术领域

本申请涉及数据处理领域，特别涉及一种数据标识方法及系统。

背景技术

在很多行业诸如银行、电信和互联网行业中需要进行海量数据的处理。在海量数据中，不可避免的出现数据重复的情况，如何在海量数据删除重复的数据，只保留多个相同数据中的一个数据是一个急需解决的问题。

目前，数据标识方法的具体过程可以包括：首先，对于任意一个待去重数据，获取所有去重文件以及其内保存的已去重数据。所述去重文件中任一已去重数据与同一文件中其他已去重数据不相同；其次，遍历获取的已去重数据，判断在已去重数据中是否存在与待去重数据相同的数据，如果是，将待去重数据标识为重复数据；然后，判断是否还存在未查重的数据，如果是，对还未去重的数据进行去重，如果否，结束去重过程。

但是，上述数据标识过程需要获取所有去重文件以及其内的已去重数据，因此，在标识任一待去重数据时，需要获取全部去重文件，然后将待去重数据与去重文件中的全部已去重数据进行判断，从而降低了去重效率，更进一步地，如果后续还需要对该去重文件中的数据进行分析，也会因为去重效率低而延迟分析过程。

发明内容

本申请所要解决的技术问题是提供一种数据标识方法，用以解决现有技术对任一待去重数据标识时，都需要获取全部去重文件和文件中的全部已去重数据，从而在去重过程中需要将去重数据与去重文件中的全部已去重数据进行判断，从而降低了去重效率，更进一步地，导致因去重效率低延迟分析过程的问题。

本申请还提供了一种数据标识系统，用以保证上述方法在实际中的实现及应用。

为了解决上述问题，本申请提供了一种数据标识方法，包括：从待去重数据中提取匹配字段，并对所述待去重数据包括的关键字段进行计算，获得所述关键字段的散列值；

获取与所述匹配字段相对应的去重文件；

依据所述散列值，定位所述去重文件中的已去重数据；

判断所述待去重数据和所述已去重数据是否相同，如果是，将所述待去重数据标识为重复数据。

优选地，所述去重文件中的已去重数据映射到内存中，且每条已去重数据在所述内存中分段保存；

所述依据所述散列值，定位所述去重文件中的已去重数据包括：

获取所述散列值对应的散列链表地址，以定位所述去重文件映射到内存中的第一条已去重数据；

对于散列链表中除第一条去重数据之外的任意一条已去重数据，获取自身在所述内存中的段序号和段内偏移量以定位自身在所述内存中的位置。

优选地，获取所述散列值对应的散列链表地址包括：

获取所述散列值在索引表中的位置idx，位置idx＝HASH_VALUE％BUCKE_NUM，其中，HASH_VALUE为所述散列值，BUCKE_NUM为索引表的最大记录数，所述索引表用于保存所有散列链表的第一条已去重数据；

获取索引表的首地址ADDR，在内存ADDR+idx中存储的即是散列链表中的第一条已去重数据。

优选地，获取下一条已去重数据在所述内存中的段序号和段内偏移量包括：

获取当前已去重数据在内存中的完整记录，所述当前已去重数据记录包括下一条已去重数据在所述内存中的地址NEXT；

依据所述下一条已去重数据在所述内存中的地址NEXT和所述内存的大小MMDB_SEGSIZE，获取所述下一条已去重数据在所述内存中的段序号和段内偏移量，所述段序号为NEXT/MMDB_SEGSIZE，所述段内偏移量为NEXT％MMDB_SEGSIZE。

优选地，在所述定位所述去重文件中的已去重数据之后，判断所述待去重数据和所述已去重数据是否相同之前，还包括：

在所述内存中未获取到定位的已去重数据的情况下，在所述去重文件中查找该已去重数据，并将该已去重数据映射到内存中。

优选地，判断所述待去重数据和所述已去重数据是否相同包括：判断所述待去重数据对应的关键字段的反向字段的散列值和所述已去重数据在内存中记录的散列值是否相同。

优选地，所述对所述待去重数据包括的关键字段进行计算包括：采用循环冗余码校验CRC32码或第五代信息摘要MD5码，对所述关键字段进行计算。

本申请还提供了一种数据标识系统，该系统包括：字段获取模块，用于从待去重数据中提取匹配字段，并对所述待去重数据包括的关键字段进行计算，获得所述关键字段的散列值；

文件获取模块，用于获取与所述匹配字段相对应的去重文件；