[发明专利]数据处理方法、装置、存储介质和电子装置

说明书

本发明公开了一种数据处理方法、装置、存储介质和电子装置。其中，该方法包括：获取至少两个数据集合，其中，至少两个数据集合中的数据来自不同的数据源；将至少两个数据集合中，相似度符合第一条件的两个第一数据集合进行融合，得到第一融合结果，其中，相似度用于指示两个数据集合中数据的属性之间的相关程度，第一融合结果中的数据均用于指示目标对象、且第一融合结果包括的数据不重复；将至少两个数据集合中，相似度不符合第一条件、数据之间的目标关系符合第二条件的第二数据集合进行融合，得到第二融合结果；合并第一融合结果和第二融合结果中的数据，得到目标融合结果。本发明解决了相关技术数据融合的效率低的技术问题。

技术领域

本发明涉及计算机领域，具体而言，涉及一种数据处理方法、装置、存储介质和电子装置。

背景技术

目前，在数据处理中，数据融合在不同领域有不同称谓，早在数据库领域，找出不同数据集的相同对象被称为记录链接(record linkage)或记录匹配(record matching)。近年来，在知识图谱领域，数据融合也被称为实体对齐，是判断不同知识库中的两个实体是否指向同一对象的过程。

很多实体对齐的算法已被提出。比如，基于概率模型，利用实体对之间的属性的相似度，来判断两个实体是匹配、可能匹配，还是不匹配。后续有许多其它算法建立在上述基于概率模块匹配的研究基础上，这类算法思想简单，但是没有考虑实体与实体之间结构上的相似度，因此，只适用于特定领域的实体对齐，其算法召回率和应用范围都具有一定的局限性。

随着统计学习以及机器学习的发展，很多机器学习算法被应用到实体匹配中。比如，将算法划分为有监督或半监督机器学习、基于主动学习以及无监督机器学习这三类。这类基于机器学习的算法，通常需要较多的参数，并且容易出现过拟合的问题。如果是单机版，往往效率较低，只适用较小的数据集。

另外，在对两个数据集做数据融合时，如果每两个实体都计算它们的相似度，那么算法的复杂度将是数据集大小的平方级别，不仅低效，并且很多计算也是不必要的。

因而，有很多索引技术被提出，一种基本的分区索引技术是直接选择实体属性作为索引键值进行构建，然后将具有相同索引键值的实体分配到同一区块，使得相似度匹配只在同一区块中进行。但是目前还没有从工程角度，完整地给出数据融合的整个系统的实现过程，数据融合的效率低。

针对上述的数据融合的效率低的问题，目前尚未提出有效的解决方案。

发明内容

本发明实施例提供了一种数据处理方法、装置、存储介质和电子装置，以至少解决相关技术数据融合的效率低的技术问题。

根据本发明实施例的一个方面，提供了一种数据处理方法。该方法包括：获取至少两个数据集合，其中，至少两个数据集合中的数据来自不同的数据源；将至少两个数据集合中，相似度符合第一条件的两个第一数据集合进行融合，得到第一融合结果，其中，相似度用于指示两个数据集合中数据的属性之间的相关程度，第一融合结果中的数据均用于指示目标对象、且第一融合结果包括的数据不重复；将至少两个数据集合中，相似度不符合第一条件、数据之间的目标关系符合第二条件的第二数据集合进行融合，得到第二融合结果，其中，第二融合结果中的数据均用于指示目标对象、且第二融合结果包括的数据不重复；合并第一融合结果和第二融合结果中的数据，得到目标融合结果。