[发明专利]一种基于分组最小值作为指纹计算相似度的方法

摘要

本发明公开了一种基于分组最小值的指纹相似性度量方法，该方法突破随机排列的限制，不通过随机排列来生成指纹，并且其指纹仍可用于估计相似性，解决随机排列的低效、复杂性问题，它可以对Minwise算法及其变种算法的哈希过程阶段进行简化，是检测算法中哈希函数的优化方法。

主权项

一种无需随机排列的指纹计算相似度的方法，其特征在于，包括以下步骤：S1.文本特征提取：用于提取文本特征集合Sd；S2.数据分组：给定2个文档S1和S2，对S1和S2中的元素按固定大小m进行分组，组数设为k，全集为Ω＝{0,1,2…,232‑1}，|Ω|＝232，将集合中有的元素标为1，无的元素标为0；S3.选出组内代表，形成指纹：每组选取一个代表，该代表为每组的最大值、最小值或者中间元素；若组内无元素，称为空组，设为e，Sd就形成了k个以组内代表为元素的集合，即指纹集合；S4.计算相似度R，其计算方式为：R＝Nmat/(k‑Nemp)   (4)其中，Nmat表示S1和S2的指纹集合每组代表相等的次数，Nemp表示S1和S2的指纹集合同时为空组的次数；Imat,i表示第i组比较时的相等的计数；Iemp,i表示同时为空的计数；具体如下：Nmat=Σi=1kImat,i---(5)]]>Nemp=Σi=1kIemp,i---(6)]]>Imat,i=1,ifmin(i-thgroup)1=min(i-thgroup)2≠e0,otherwise---(7)]]>公式(7)具体是：当比较两个元素都不为e，即都不为空时，且两个元素相等，则Imat,i＝1，否则Imat,i＝0；Iemp,i=1,ifmin(i-thgroup)1=min(i-thgroup)2=e0,otherwise---(8)]]>公式(8)具体是：当比较两个元素都为e，即都为空时，则Iemp,i＝1，否则Iemp,i＝0。