[发明专利]一种改进的SimHash代码相似度检测方法

摘要

一种改进的SimHash代码相似度检测方法，包括以下步骤1)分词；2)hash；3)加权；4)合并将各个特征向量经过hash加权之后的结果累加，变成只有一个序列串；5)减值通过整理分析，选择一个阈值T，将最后合并得到的结果序列串每一项减去设定的阈值T，得到最终的结果序列串；6)降维对于n‑bit签名的累加结果进行降维处理，即对于最终序列串上的每一位，若大于0则置1，否则置0，从而得到该语句的simhash值，最后根据不同语句的simhash值的海明距离来判断它们的相似度。本发明提供了一种准确性较高的改进的SimHash代码相似度检测方法。

主权项

一种改进的SimHash代码相似度检测方法，包括以下步骤：1)分词给定一段语句，进行分词和特征提取，得到有效的特征向量，然后为每个特征向量设置权重；2)hash通过hash函数计算各特征向量的hash值，hash值为二进制数01组成的n‑bit签名；3)加权在hash值的基础上，给所有的特征向量进行加权，即W＝hash*weight，且遇到1则hash值与权值正相乘，遇到0则将hash值与权值负相乘，从而得到各个特征向量的加权结果；其特征在于：所述相似度检测方法还包括以下步骤：4)合并将各个特征向量经过hash加权之后的结果累加，变成只有一个序列串；5)减值通过整理分析，选择一个阈值T，将最后合并得到的结果序列串每一项减去设定的阈值T，得到最终的结果序列串；6)降维对于n‑bit签名的累加结果进行降维处理，即对于最终序列串上的每一位，若大于0则置1，否则置0，从而得到该语句的simhash值，最后根据不同语句的simhash值的海明距离来判断它们的相似度。