[发明专利]一种基于Minwise Hash动态多阈值过滤计算文本相似度的方法

权利要求书

1.一种基于Minwise Hash动态多阈值过滤计算文本相似度的方法，其特征在于，包括以下步骤：

步骤一，提取待计算文本相似度的文档对的文本特征：minwise指纹集合S_d，集合S_d的大小为K；

步骤二，设置多个比对点k，将总比对次数K划分为若干个阶段；

步骤三，分别计算所设置的比对点k对应的文本相似度上界阈值T_U(k)与文本相似度下界阈值T_L(k)：

T_U(k)＝m_l/k，T_U(k)＝m_u/k；

其中，m_l表示比对点的下界阈值，按照计算获得的m即为m_l；

m_u表示比对点的上界阈值，按照计算获得的m即为m_u；

X是文档对S₁,S₂的minwise特征指纹相等次数，m为比对次数阈值，0<m≤k；T₀为预设文本相似度阈值；i表示第i次比对；Pr(·)表示括号中的事件发生的概率，且事件发生概率为小概率；

步骤四，计算文档对第k次比对时的文本相似度估计值并依据以下准则判断是否过滤当前文本对：

若则过滤当前文档对；

若则当前文档对的相似度较高，以当前的文本相似度估计值作为当前文档对的文本相似度，保留当前文档对；

否则，增大比对点k，返回步骤三，重新计算文档对的文本相似度。

2.根据权利要求1所述的方法，其特征在于，Pr(·)的取值小于或等于1E-10。

3.根据权利要求1或2所述的方法，其特征在于，所述步骤一提取待计算文本相似度的文档对的文本特征minwise指纹集合S_d，具体过程如下：

首先，提取文档的文本特征，获得文本特征集合S_shgs；

其次，对文本特征集合进行数值映射，得到文档对应的数值集合S_d；

最后，文档对应的数值集合S_d采用minwise指纹表征：