[发明专利]数据查重方法、装置及电子设备

权利要求书

1.一种数据查重方法，其特征在于，包括：

获取待查重数据集的元数据和实体数据，其中，所述元数据用于描述所述待查重数据集中包含的科学数据，所述实体数据为所述待查重数据集中包含的科学数据；

基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，所述第一相关度为所述待查重数据集的所述元数据与所述数据库中数据集的元数据之间的相关度；

根据所述第一相关度筛选出所述数据库中需要再次进行查重的候选数据集；

基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，所述第二相关度为所述待查重数据集的所述实体数据与所述候选数据集的实体数据之间的相关度；

根据所述第一相关度、所述第二相关度确定所述待查重数据集的查重结果。

2.根据权利要求1所述的数据查重方法，其特征在于，所述根据所述第一相关度筛选出所述数据库中需要再次进行查重的候选数据集，包括：

确定所述第一相关度是否在预设范围内，将所述数据库中所述第一相关度在预设范围内的数据集作为所述候选数据集；

将所述数据库中，所述第一相关度大于所述预设范围内的数据集作为所述待查重数据集的查重结果。

3.根据权利要求1所述的数据查重方法，其特征在于，所述基于所述元数据计算所述待查重数据集与数据库中每个数据集的第一相关度，包括：

构建主题内容相似度算法；

通过所述主题内容相似度算法计算所述元数据与所述数据库中每个数据集的元数据的第一相关度。

4.根据权利要求3所述的数据查重方法，其特征在于，所述主题内容相似度算法，包括：

通过语言知识库将所述待查重数据集的元数据分为第一语义组和第一统计组，以及

通过语言知识库将所述数据库中数据集的元数据分为第二语义组和第二统计组；

计算所述第一语义组与所述第二语义组的相似度；

计算所述第一统计组与所述第二统计组中相匹配的词语的匹配概率；

根据所述相似度之和与所述匹配概率，确定所述待查重数据集与所述数据库中一数据集的第一相关度。

5.根据权利要求1-4任一项所述的数据查重方法，其特征在于，所述待查重数据集的所述元数据包括题目、关键词、摘要中的一种或多种类型的数据。

6.根据权利要求2所述的数据查重方法，其特征在于，所述预设范围的取值大于0.6且小于1。

7.根据权利要求1所述的数据查重方法，其特征在于，所述基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，包括：

获取所述待查重数据集的实体数据的第一摘要编码，以及所述候选数据集的实体数据的第二摘要编码；

将所述第一摘要编码与所述第二摘要编码进行匹配，确定所述待查重数据集与所述候选数据集的第二相关度。

8.根据权利要求1所述的数据查重方法，其特征在于，所述基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，包括：

获取所述待查重数据集的实体数据的第一二进制码，以及所述候选数据集的实体数据的第二二进制码；

将所述第一二进制码与所述第二二进制码进行匹配，确定所述待查重数据集与所述候选数据集的第二相关度。

9.根据权利要求1所述的数据查重方法，其特征在于，所述基于所述待查重数据集的实体数据，计算所述待查重数据集与所述候选数据集的第二相关度，包括：

确定所述待查重数据集的实体数据与候选数据集的实体数据的数据格式；

根据所述数据格式读取所述待查重数据集的实体数据，得到第一读取信息，以及

根据所述数据格式读取所述候选数据集的实体数据，得到第二读取信息；

将相同数据格式对应的所述第一读取信息与所述第二读取信息进行匹配，确定所述待查重数据集与所述候选数据集的第二相关度。