[发明专利]一种基于余弦相似度算法的查重方法

说明书

本发明提供一种基于余弦相似度算法的查重方法，包括下列步骤：对待查重文本以及对比文本分别进行分词处理，形成第一词集；对第一词集进行向量化处理，形成特征向量集；根据特征向量集，对第一词集进行第一编码处理，形成包含若干编码子集的第二词集组，对第二词集组分别进行第二编码处理，形成包含若干词频向量集的第三词集组；基于余弦相似度算法，计算两两词频向量集的余弦相似度，若余弦相似度大于阈值，则将对比文本作为查重结果。

技术领域

本发明涉及数据查重技术领域，尤其涉及一种基于余弦相似度算法的查重方法。

背景技术

随着计算机文本信息挖掘等各种自然语言处理应用的普及，当今社会对基于文本相似度的文档检索系统需求日益增加，同时人们对计算机文本处理也提出了更高的要求。在自然语言处理过程中，经常会涉及到如何度量两个文本之间的相似性，我们都知道文本是一种高维的语义空间，如何对其进行抽象分解，从而能够站在数学角度去量化其相似性，是此方法的重点。在相似度检索领域，现有的相似度检索方法，要么在检索效率上存在不足，要么在准确度方面不能令人满意。

发明内容

本发明的目的在于提供一种基于余弦相似度算法的查重方法，以解决上述背景技术中提出的问题。

本发明是通过以下技术方案实现的：一种基于余弦相似度算法的查重方法，包括下列步骤：

对待查重文本以及对比文本分别进行分词处理，形成第一词集；

对第一词集进行向量化处理，形成特征向量集；

根据特征向量集，对第一词集进行第一编码处理，形成包含若干编码子集的第二词集组，对第二词集组分别进行第二编码处理，形成包含若干词频向量集的第三词集组；

基于余弦相似度算法，计算两两词频向量集的余弦相似度；

重复上述步骤，计算待查重文本以及其他待对比文本的余弦相似度，选取余弦相似度最大的待对比文本作为查重结果。

优选的，对待查重文本以及对比文本分别进行分词处理，形成第一词集，包括：

对待查重文本分词处理，形成包含多个单词的第一分词集，对对比文本进行分词处理，形成包含多个单词的第二分词集；

将第一分词集、第二分词集中的单词进行逐一对比，若存在相同单词，则选取一个相同单词放入第一词集中；

若存在不同单词，则将不同单词均放入第一词集中。

优选的，所述分词处理包括结巴分词法中的一种或多种。

优选的，对第一词集进行向量化处理，形成特征向量集，包括：

对第一词集中的单词的出现顺序进行数字标号，形成包含单词以及数字的特征向量集。

优选的，所述第一编码处理包括：

根据特征向量集，将第一分词集转换为包含数字的第一编码子集，将第二分词集转换为包含数字的第二编码子集，所述第一编码子集、第二编码子集组成第二词集组。

优选的，第二编码处理，包括：

对第一编码子集进行oneHot编码处理，获得第一词频向量集；

对第二编码子集进行oneHot编码处理，获得第二词频向量集；

所述第一词频向量集、第二词频向量集组成第三词集组。

与现有技术相比，本发明达到的有益效果如下：

本发明提供的一种基于余弦相似度算法的查重方法，可提高系统查重效率及准确率，减少人力资源浪费。

附图说明