[发明专利]基于模式匹配和实体匹配的数据融合方法、装置、系统

权利要求书

1.一种基于模式匹配和实体匹配的数据融合方法，其特征在于，包括：

步骤1：接收初始连接的模式匹配成功的记录对；

步骤2：获取模式匹配成功的记录对作为模式匹配记录对，对所述模式匹配记录对对应的数据进行实体匹配；

步骤3：判断是否存在实体匹配成功的记录对，如果存在，进入步骤4；如果没有实体匹配成功的记录对，进入步骤6；

步骤4：获取实体匹配成功的记录对作为实体匹配记录对，对所述实体匹配记录对对应的数据进行模式匹配；

步骤5：判断是否存在模式匹配成功的记录对，如果存在，进入步骤2；如果没有模式匹配成功的记录对，进入步骤6；

步骤6：获取所有匹配成功的记录对。

2.如权利要求1所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述模式匹配与所述实体匹配的记录索引方法具体为：基于q-gram的多属性交互索引。

3.如权利要求2所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述基于q-gram的多属性交互索引的建立方法包括：

根据所述初始连接的模式匹配成功的记录对建立动态索引；

移除索引中区分度高于区分度阈值的记录对；

其中，所述区分度的计算方法包括：当Pos_T(A)为匹配成功的记录对中在记录A下的值匹配的数量，Neg_T(A)为匹配成功的记录对中在所述记录A下的值不匹配的数量时，区分度

4.如权利要求3所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述实体匹配的方法包括：

对所述模式匹配记录对对应的数据依次计算实体匹配度；

筛选出所述实体匹配度高于实体匹配度阈值的记录对作为实体匹配成功的记录对；

其中，所述实体匹配度的计算方法包括：

当λ为阻尼系数，为所有的连接起来的属性对的总的贡献分数时，实体匹配度

其中，

L_SM(A,B)为记录A和B匹配的可能性；ctr(t[A],s[B])为t[A]和s[B]两个值的相似度贡献值；

sim(t[A],s[B])为t[A]和s[B]两个值的相似度，θ为临界点；

属性A和B融合后的区分度得分

5.如权利要求3所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述模式匹配的方法包括：

对所述实体匹配记录对对应的数据依次计算模式匹配度；

筛选出所述模式匹配度高于模式匹配度阈值的记录对作为模式匹配成功的记录对；

其中，所述模式匹配度的计算方法包括：

当α为控制相关记录对的贡献分数时，模式匹配度

其中，

ctr(t[A],s[B])为t[A]和s[B]两个值的相似度贡献值；

sim(t[A],s[B])为t[A]和s[B]两个值的相似度，θ为临界点；

属性A和B融合后的区分度得分

6.如权利要求5所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，还包括：

对获取的所述匹配成功的记录对计算不稳定度；

移除所述不稳定度大于不稳定度阈值的匹配的记录对；

其中，所述不稳定度的计算方法包括：当为记录对(A，B)下所有记录值的相似度的平均值，m为连接起来的记录对的数量时，不稳定程度sim(a,b)为a和b两个值的相似度。

7.如权利要求1至6任一项所述的基于模式匹配和实体匹配的数据融合方法，其特征在于，所述对模式匹配记录对对应的数据进行实体匹配前还包括：

计算所述模式匹配记录对的误差值；

移除所述误差值高于误差阈值的记录对；

其中，所述误差值的计算方法包括：当S(·)是相似度函数，η为质量阈值时，记录对(A,B)的误差值