[发明专利]烟草科技文献数据去重模型的构建方法及装置

权利要求书

1.一种烟草科技文献数据去重模型的构建方法，其特征在于，包括：

获取烟草科技的文献数据，对所述文献数据进行去重，得到去重后的原始数据集；

从所述原始数据集采样第一文献数据，将所述第一文献数据进行配对，通过所述配对的结果构建去重数据集；

从所述原始数据集采样第二文献数据，并获取所述文献数据的同义匹配标准，将所述第二文献数据通过所述同义匹配标准转化为第三文献数据，通过所述第二文献数据和所述第三文献数据配对，构建重复数据集；

将所述去重数据集和所述重复数据集通过神经网络模型进行模型训练，得到所述烟草科技的文献数据的去重模型。

2.根据权利要求1所述的烟草科技文献数据去重模型的构建方法，其特征在于，所述将所述第二文献数据通过所述同义匹配标准转化为第三文献数据，包括：

获取所述第二文献数据中的关键词，并将所述关键词替换为同义词，得到所述第三文献数据。

3.根据权利要求1所述的烟草科技文献数据去重模型的构建方法，其特征在于，所述将去重数据集和所述重复数据集通过神经网络模型进行模型训练之前，还包括：

检测所述去重数据集合和所述重复数据集的数据量是否达到预设的数据量标准；

当所述去重数据集合和所述重复数据集的数据量未达到预设的数据量标准时，重复构建去重数据集和构建重复数据集的步骤直至所述去重数据集合和所述重复数据集的数据量达到预设的数据量标准。

4.根据权利要求1所述的烟草科技文献数据去重模型的构建方法，其特征在于，所述得到去重后的原始数据集之后，还包括：

获取预设的数据权重表，根据所述数据权重表为所述原始数据集中的数据分配权重，得到权重分配后的原始数据集，所述原始数据集的权重用于调整从所述原始数据集采样时的采样概率。

5.根据权利要求1所述的烟草科技文献数据去重模型的构建方法，其特征在于，所述得到所述烟草科技的文献数据的去重模型之后，还包括：

接收待去重数据，并从所述原始数据集随机选取数据与所述待去重数据配对，得到待去重配对数据；

将所述待去重配对数据输入到所述去重模型，得到所述待去重数据的重复概率；

获取重复判定阈值，将所述重复概率与所述重复判断阈值进行对比，根据对比结果判断所述待去重数据是否重复。

6.根据权利要求1所述的烟草科技文献数据去重模型的构建方法，其特征在于，所述方法还包括：

将所述去重数据集中的文献数据标记为0，将所述重复数据集中的文献数据标记为1；

所述将所述去重数据集和所述重复数据集通过神经网络模型进行模型训练，包括：

将所述去重数据集的文献数据和标记以及所述重复数据集的文献数据和标记通过神经网络模型进行模型训练。

7.一种烟草科技文献数据去重模型的构建装置，其特征在于，所述装置包括：

获取模块，用于获取烟草科技的文献数据，对所述文献数据进行去重，得到去重后的原始数据集；

第一采样模块，用于从所述原始数据集采样第一文献数据，将所述第一文献数据进行配对，通过所述配对的结果构建去重数据集；

第二采样模块，从所述原始数据集采样第二文献数据，并获取所述文献数据的同义匹配标准，将所述第二文献数据通过所述同义匹配标准转化为第三文献数据，通过所述第二文献数据和所述第三文献数据配对，构建重复数据集；

训练模块，用于将所述去重数据集和所述重复数据集通过神经网络模型进行模型训练，得到所述烟草科技的文献数据的去重模型。

8.根据权利要求7所述的烟草科技文献数据去重模型的构建装置，其特征在于，所述装置还包括：

第二获取模块，用于获取所述第二文献数据中的关键词，并将所述关键词替换为同义词，得到所述第三文献数据。