[发明专利]数据查重方法、装置及电子设备

说明书

本发明提供一种数据查重方法、装置及电子设备；涉及大数据处理技术领域；能够针对科学数据进行查重。该方法包括获取待查重数据集的元数据和实体数据；基于元数据计算待查重数据集与数据库中每个数据集的第一相关度，第一相关度为待查重数据集的元数据与数据库中数据集的元数据之间的相关度；根据第一相关度筛选出数据库中需要再次进行查重的候选数据集；基于待查重数据集的实体数据，计算待查重数据集与候选数据集的第二相关度，第二相关度为待查重数据集的实体数据与候选数据集的实体数据之间的相关度；根据第一相关度、第二相关度确定待查重数据集的查重结果。

技术领域

本发明涉及大数据处理技术领域，尤其涉及一种数据查重方法、装置及电子设备。

背景技术

随着互联网、大数据、人工智能等信息技术的迅猛发展，科学研究过程中产生出了大量的科学数据。科学数据就是科研人员通过观察、实验、计算分析等科研过程所产生的原始数据。

这些蕴藏着科学理论的科学数据经常被淹没在零零散散的实验室里。为了深层次的挖掘科学数据其中的价值，科研人员会将数据打包形成科学数据集，并将其提交到数据中心供所有科研人员使用。在进行数据集提交的时候可能出现重复提交数据集的情况，增加了数据库的冗余度，降低了数据检索效率。由于科学数据集的数据量非常大，导致无法通过人工审查的方法进行查重，因此需要查重效率更高的方法。

发明内容

本发明提供一种数据查重方法、装置及电子设备，用以解决现有技术中针对科学数据的查重效率较低的缺陷，提高科学数据的查重效率和准确率。

第一方面，本发明提供一种数据查重方法，包括：

获取待查重数据集的元数据和实体数据，其中，所述元数据用于描述所述待查重数据集中包含的科学数据，所述实体数据为所述待查重数据集中包含的科学数据；

基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，所述第一相关度为所述待查重数据集的所述元数据与所述数据库中数据集的元数据之间的相关度；

根据所述第一相关度筛选出所述数据库中需要再次进行查重的候选数据集；

基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，所述第二相关度为所述待查重数据集的所述实体数据与所述候选数据集的实体数据之间的相关度；

根据所述第一相关度、所述第二相关度确定所述待查重数据集的查重结果。

根据本发明提供的一种示例性实施方式，所述根据所述第一相关度筛选出所述数据库中需要再次进行查重的候选数据集，包括：

确定所述第一相关度是否在预设范围内，将所述数据库中所述第一相关度在预设范围内的数据集作为所述候选数据集；

将所述数据库中，所述第一相关度大于所述预设范围内的数据集作为所述待查重数据集的查重结果。

根据本发明提供的一种示例性实施方式，所述基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，包括：

构建主题内容相似度算法；

通过所述主题内容相似度算法计算所述元数据与所述数据库中每个数据集的元数据的第一相关度。

根据本发明提供的一种示例性实施方式，所述主题内容相似度算法，包括：

通过语言知识库将所述待查重数据集的元数据分为第一语义组和第一统计组，以及

通过语言知识库将所述数据库中数据集的元数据分为第二语义组和第二统计组；

计算所述第一语义组与所述第二语义组的相似度；

计算所述第一统计组与所述第二统计组中相匹配的词语的匹配概率；