[发明专利]一种数据整合方法及系统、设备和存储介质

权利要求书

1.一种数据整合方法，其特征在于，包括：

实体匹配步骤：基于集合型数据的相似度计算，将多个数据源实体进行匹配，完成多数据源的实体匹配；

数据融合步骤：将匹配成功的至少一个所述数据源实体，进行链接和融合，并采用集合型数据结构存储来自所述多个数据源实体的多值属性，生成多值属性集合，完成多源数据的数据整合。

2.根据权利要求1所述数据整合方法，其特征在于，还包括：

增量匹配融合步骤：将新增数据源实体，执行所述实体匹配步骤及所述数据融合步骤，完成新增数据源实体的动态数据整合。

3.根据权利要求1所述数据整合方法，其特征在于，所述集合型数据的相似度计算，采用公式：

对于集合A和集合B，分别对于所述集合A中和所述集合B中的每个元素(a，b)，取其与另一个集合元素的最大相似度，加和后除以所述集合A和所述集合B的长度和。

4.根据权利要求1所述数据整合方法，其特征在于，所述多个数据源实体合成一个所述多值属性集合，针对所述多值属性集合的其中一个属性，以集合形式保存了所有所述多个数据源的同一属性的不同值。

5.一种数据整合系统，采用如权利要求1-4中任意一项所述的数据整合处理方法，其特征在于，包括：

实体匹配模块：基于集合型数据的相似度计算，将多个数据源实体进行匹配，完成多数据源的实体匹配；

数据融合模块：将匹配成功的至少一个所述数据源实体，进行链接和融合，并采用集合型数据结构存储来自所述多个数据源实体的多值属性，生成多值属性集合，完成多源数据的数据整合。

6.根据权利要求5所述数据整合系统，其特征在于，还包括：

增量匹配融合模块：将新增数据源实体，执行所述实体匹配模块及所述数据融合模块，完成新增数据源实体的动态数据整合。

7.根据权利要求5所述数据整合系统，其特征在于，所述集合型数据的相似度计算，采用公式：

对于集合A和集合B，分别对于所述集合A中和所述集合B中的每个元素(a，b)，取其与另一个集合元素的最大相似度，加和后除以所述集合A和所述集合B的长度和。

8.根据权利要求5所述数据整合系统，其特征在于，所述多个数据源实体合成一个多值属性集合，针对所述多值属性集合的其中一个属性，以集合形式保存了所有所述多个数据源的同一属性的不同值。

9.一种计算机设备，包括存储器、处理器以及存储在所述存储器上并可在所述处理器上运行的计算机程序，其特征在于，所述计算机设备执行所述计算机程序时实现如权利要求1至4中任一项所述的数据整合方法。

10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现如权利要求1至4中任一项所述的数据整合方法。