[发明专利]一种基于语义分析的文档查重方法及系统

权利要求书

1.一种基于语义分析的文档查重方法，其特征在于：包括，

对待查重文档进行切分，构建查询语句集合；

遍历查询语句集合，根据查询语句与预设查重语句集合的关联度，选出各查询语句的若干候选查重语句，根据查询语句与相应候选查重语句的语义相似性，获得各查询语句的重复率；

根据各查询语句的重复率，计算待查重文档的重复率。

2.根据权利要求1所述的一种基于语义分析的文档查重方法，其特征在于：选出查询语句若干候选查重语句的过程为，

采用BM25算法，计算查询语句与预设查重语句集合中各查重语句的关联度；

选择关联度大于阈值的查重语句为该查询语句的候选查重语句。

3.根据权利要求1所述的一种基于语义分析的文档查重方法，其特征在于：获得查询语句重复率的过程为，

采用语义Jaccard方法，计算查询语句与各相应候选查重语句的语义相似性，选语义相似性最大值作为查询语句的重复率。

4.根据权利要求3所述的一种基于语义分析的文档查重方法，其特征在于：采用语义Jaccard方法，计算查询语句与各相应候选查重语句语义相似性的过程为，

获取查询语句分词集合的词向量{w_i}和候选查重语句分词集合的词向量{ws_i}；

计算w_i对{ws_i}中各词向量的余弦相似度CSim_i，构建{w_i}对{ws_i}的相似度集合；

将相似度集合带入Jaccard公式，计算查询语句与候选查重语句的语义相似性。

5.根据权利要求4所述的一种基于语义分析的文档查重方法，其特征在于：计算待查重文档重复率的公式为，

其中，DSim为待查重文档的重复率，Sim_j为第j个查询语句的重复率，L_j为第j个查询语句的长度。

6.一种基于语义分析的文档查重系统，其特征在于：包括，

查重文档切分模块：对待查重文档进行切分，构建查询语句集合；

遍历计算模块：遍历查询语句集合，根据查询语句与预设查重语句集合的关联度，选出各查询语句的若干候选查重语句，根据查询语句与相应候选查重语句的语义相似性，获得各查询语句的重复率；

重复率计算模块：根据各查询语句的重复率，计算待查重文档的重复率。

7.根据权利要求6所述的一种基于语义分析的文档查重系统，其特征在于：遍历计算模块包括候选查重语句模块，候选查重语句模块包括，

关联度计算模块：采用BM25算法，计算查询语句与预设查重语句集合中各查重语句的关联度；

选择模块：选择关联度大于阈值的查重语句为该查询语句的候选查重语句。

8.根据权利要求6所述的一种基于语义分析的文档查重系统，其特征在于：遍历计算模块包括，

查询语句重复率模块：采用语义Jaccard方法，计算查询语句与各相应候选查重语句的语义相似性，选语义相似性最大值作为查询语句的重复率。

9.根据权利要求8所述的一种基于语义分析的文档查重方法，其特征在于：查询语句重复率模块包括语义相似性计算模块，语义相似性计算模块包括，

词向量获取模块：获取查询语句分词集合的词向量{w_i}和候选查重语句分词集合的词向量{ws_i}；

相似度集合构建模块：计算w_i对{ws_i}中各词向量的余弦相似度CSim_i，构建{w_i}对{ws_i}的相似度集合；

Jaccard模块：将相似度集合带入Jaccard公式，计算查询语句与候选查重语句的语义相似性。

10.一种存储一个或多个程序的计算机可读存储介质，其特征在于：所述一个或多个程序包括指令，所述指令当由计算设备执行时，使得所述计算设备执行根据权利要求1至5所述的方法中的任一方法。