[发明专利]一种基于Minwise Hash动态多阈值过滤计算文本相似度的方法

摘要

本发明提供了一种基于Minwise Hash动态多阈值过滤计算文本相似度的方法，该方法将比对过程划分为多个比对点，并设置各比对点的动态阈值，过滤相似度低于下界阈值TL(k)的文档，输出相似度高于上界阈值TU(k)的文档。这种提前过滤的方法减少了后续的比对次数，降低了工作量。针对数据的各种情况，对于文档集合全部都是重复的极端情况，基于文本相似度上界阈值的过滤策略会非常有效；对于文档集合全部都是不重复的极端情况，基于文本相似度下界阈值的过滤策略则会非常有效。

主权项

1.一种基于Minwise Hash动态多阈值过滤计算文本相似度的方法，其特征在于，包括以下步骤：步骤一，提取待计算文本相似度的文档对的文本特征：minwise指纹集合Sd，集合Sd的大小为K；步骤二，设置多个比对点k，将总比对次数K划分为若干个阶段；步骤三，分别计算所设置的比对点k对应的文本相似度上界阈值TU(k)与文本相似度下界阈值TL(k)：TU(k)＝ml/k，TU(k)＝mu/k；其中，m_l表示比对点的下界阈值，按照计算获得的m即为m_l；m_u表示比对点的上界阈值，按照计算获得的m即为m_u；X是文档对S₁,S₂的minwise特征指纹相等次数，m为比对次数阈值，0<m≤k；T₀为预设文本相似度阈值；i表示第i次比对；Pr(·)表示括号中的事件发生的概率，且事件发生概率为小概率；步骤四，计算文档对第k次比对时的文本相似度估计值并依据以下准则判断是否过滤当前文本对：若则过滤当前文档对；若则当前文档对的相似度较高，以当前的文本相似度估计值作为当前文档对的文本相似度，保留当前文档对；否则，增大比对点k，返回步骤三，重新计算文档对的文本相似度。