[发明专利]一种数据查重方法

权利要求书

1.一种对数据进行查重的方法，其特征在于：

采用DBCursor光标读取数据，使用.next()按顺序读取数据库中数据，读取结束后以close()关闭连接；

分批次遍历资源数据列表，使用simHash算法，将资源数据库中的文本计算为simHash指纹签名，存储成String类型，并将指纹签名分成n个片段，其中n为自然数；遍历分段后的每段simHash片段，到资源数据签名列表中匹配目标资源数据的分段simHash指纹：如果不存在匹配项，则进一步查询堆号信息表，将该堆号信息+1存入缓存；如果存在匹配项，则取出所有匹配的资源simHash列表，逐一计算与当前资源数据的海明距离，并判断所得到的海明距离是否小于设定阈值并且小于设定阈值的队列标志是否一致，若是，则将当前目标资源数据的simHash指纹签名、资源ID值、以及堆号+1存入资源数据simHash表中，若否，则逐一计算与当前资源的相似度，选取相似度最高的堆号，将响应信息存入simHash表中，

其中，计算simHash签名的方法为：

对资源数据进行过滤清洗，采用分词的方法提取特征关键词，

对所提取的特征关键词进行权重计算，

对特征关键词进行hash降维形成0和1组成的签名，

进行向量加权计算，得到每个关键词的特征向量，其中，特征向量的计算方法为：对于特征关键词进行hash降维后形成的0和1组成的签名，如果值为1，则特征向量为hash值乘以权重，如果值为0，则特征向量为hash值乘以（-1）乘以权重，

将上述特征向量合并相加，得到最终向量，然后降维，得到最终的simHash指纹签名；

用上述得到的simHash签名分成的片段作为key，对应的sinHash+堆号作为value值；

利用hashMap的键值执行目标文本的查重；

对于查重处理后的数据的入库，采用延时入库的方式，设定一定的累积量阈值，当达到该阈值时指定批量入库操作。

2.根据权利要求1所述的方法，其特征在于，所述的n个片段为4个片段。

3.根据权利要求1所述的方法，其特征在于，所述的hashMap键值查找执行map.get(“key1”)。

4.根据权利要求1所述的方法，其特征在于，所述权重以特征关键词出现的频率表示。

5.根据权利要求1所述的方法，其特征在于，特征向量合并相加后的降维方法为：对于计算得到的特征向量，如果大于0，则为1，否则为0。

6.根据权利要求1所述的方法，其特征在于，所述查重过程中判定所述n个片段的海明距离是否小于设定阈值，如果小于阈值，则判定为重复数据，如果大于阈值，则判定为不重复数据。