[发明专利]烟草科技文献数据去重模型的构建方法及装置

说明书

本发明实施例提供一种烟草科技文献数据去重模型的构建方法及装置，所述方法包括：获取烟草科技的文献数据，对文献数据进行去重，得到去重后的原始数据集；从原始数据集采样第一文献数据，将第一文献数据进行配对，通过配对的结果构建去重数据集；从原始数据集采样第二文献数据，并获取文献数据的同义匹配标准，将第二文献数据通过同义匹配标准转化为第三文献数据，通过第二文献数据和第三文献数据配对，构建重复数据集；将去重数据集和重复数据集通过神经网络模型进行模型训练，得到烟草科技的文献数据的去重模型。采用本方法构建一种能够更高效率的针对烟草科技文献数据进行去重的去重模型。

技术领域

本发明涉及烟草科技数据处理技术领域，尤其涉及一种烟草科技文献数据去重模型的构建方法及装置。

背景技术

近年来，随着烟草科技领域的信息化建设不断深化，渐渐的烟草相关部门也积累了大量的烟草科技文献数据；但由于参与烟草信息化建设的各部门、各企业和各业务单元的系统之间缺乏统一标准，烟草科技文献信息的数据质量也面临着巨大挑战。

对于烟草科技文献数据来说，其中一个主要的数据质量问题就是数据的重复（重复记录的烟草科技文献数据、按照不同格式规范整理的烟草科技文献数据等等），为了更好地利用烟草科技领域的文献数据，需要有效的数据去重方法来处理烟草科技领域的文献数据。

目前，已经有一些传统方法可以对文献数据记录进行数据去重，这些包括利用文献数据记录ID比对、关键词列表和摘要信息比对等进行重复判断。但上述传统方法属于泛用的重复判断方法，用于烟草科技文献领域，没有领域的针对性，对于重复的判断效率并不高。

发明内容

针对现有技术中存在的问题，本发明实施例提供一种烟草科技文献数据去重模型的构建方法。

本发明实施例提供一种烟草科技文献数据去重模型的构建方法，包括：

获取烟草科技的文献数据，对所述文献数据进行去重，得到去重后的原始数据集；

从所述原始数据集采样第一文献数据，将所述第一文献数据进行配对，通过所述配对的结果构建去重数据集；

从所述原始数据集采样第二文献数据，并获取所述文献数据的同义匹配标准，将所述第二文献数据通过所述同义匹配标准转化为第三文献数据，通过所述第二文献数据和所述第三文献数据配对，构建重复数据集；

将所述去重数据集和所述重复数据集通过神经网络模型进行模型训练，得到所述烟草科技的文献数据的去重模型。

在其中一个实施例中，所述方法还包括：

获取所述第二文献数据中的关键词，并将所述关键词替换为同义词，得到所述第三文献数据。

在其中一个实施例中，所述方法还包括：

检测所述去重数据集合和所述重复数据集的数据量是否达到预设的数据量标准；

当所述去重数据集合和所述重复数据集的数据量未达到预设的数据量标准时，重复构建去重数据集和构建重复数据集的步骤直至所述去重数据集合和所述重复数据集的数据量达到预设的数据量标准。

在其中一个实施例中，所述方法还包括：

获取预设的数据权重表，根据所述数据权重表为所述原始数据集中的数据分配权重，得到权重分配后的原始数据集，所述原始数据集的权重用于调整从所述原始数据集采样时的采样概率。

在其中一个实施例中，所述方法还包括：

接收待去重数据，并从所述原始数据集随机选取数据与所述待去重数据配对，得到待去重配对数据；

将所述待去重配对数据输入到所述去重模型，得到所述待去重数据的重复概率；