[发明专利]一种基于加权融合的Loc2vec模型的重复数据检测方法

权利要求书

1.一种基于加权融合的Loc2vec模型的重复数据检测方法，其特征在于，包括以下步骤：

步骤1：数据处理阶段：

对于待检测的源数据项和语料库，使用分词工具，进行分词处理，将处理后的语料库用于doc2vec基础模型训练，处理后的待检测源数据项用于下一阶段模型编码处理分析，同时对doc2vec基础模型进行参数设定，设定结果如表1所示；

表1 doc2vec基础模型参数

步骤2：编码分析阶段；

将步骤1中分词处理后的待检测源数据项使用doc2vec基础模型进行编码处理分析，处理的过程如下所示：

步骤2-1：定义源数据集为d{d1，d2...dn}；

步骤2-2：使用doc2vec模型对源数据集进行训练，得到文本向量集为v{v(d1)，v(d2)...v(dn)}；

步骤2-3：采用余弦相似度计算公式，计算两个文本向量之间的语义相似度simDoc，计算公式如式(2)：

步骤2-4：使用LCS算法对源数据集内数据项之间的最长公共子序列算法相似度进行检测，如式(2)：

其中，simLCS表示LSC算法计算出的文本相似度，len(d1)表示待检测字符串的长度，LCS(d1，d2)表示两个字符串的最长公共子序列长度；

步骤2-4：将式(1)和式(2)进行加权融合，得到加权相似度计算模型，如式(3)，根据式(3)来计算数据项之间的相似度值的大小；

simLoc2vec(X，Y)＝α·simLCS+(1-α)·simDoc (3)

其中α∈[0，1]，X、Y分别为待检测的两条数据；

步骤3：重复数据判别阶段：

使用Loc2vec模型对待检测源数据项的相似度进行计算，对于数据项之间相似度大于F％的数据项认定其为重复数据，最终获取得到重复数据集合。

2.根据权利要求1所述的一种基于加权融合的Loc2vec模型的重复数据检测方法，其特征在于，所述分词工具为jieba分词工具。

3.根据权利要求1所述的一种基于加权融合的Loc2vec模型的重复数据检测方法，其特征在于，所述A＝100，B＝3，C＝200，D＝1，E＝4。

4.根据权利要求1所述的一种基于加权融合的Loc2vec模型的重复数据检测方法，其特征在于，所述α＝0.6，F＝80。