[发明专利]一种数据融合方法及装置

说明书

本发明公开一种数据融合方法及装置，所述方法包括：提取第一数据和第二数据中的属性，其中，所述第一数据和所述第二数据中包括属性与属性值的对应关系。计算各个属性之间的语义相似度值，确定大于预设第一阈值的语义相似度值，并将每个所述语义相似度值对应的属性确定为所述第一数据和所述第二数据的一对共有属性。通过比较每对共有属性对应的属性值，确定所述第一数据和所述第二数据之间的相似度值，如果所述第一数据和所述第二数据之间的相似度值大于预设第二阈值，则将所述第一数据和所述第二数据进行融合。本发明在保证数据融合准确性的前提下，提高了数据融合率。

技术领域

本发明涉及数据处理领域，具体涉及一种数据融合方法及装置。

背景技术

数据融合是对指向同一实体的数据进行合并去重，最终实现对指向不同实体的数据保留。例如，歌曲库中存储有源自qq音乐的歌曲《忘情水》，包含有若干属性，如歌手刘德华、曲长4分钟；另外，歌曲库中还存储有源自虾米音乐的歌曲《忘情水》，包含歌手刘德华，发行时间1994年等属性。由于两首歌曲实质上是同一首歌曲，为了避免出现歌曲查询错误，系统需要对两首歌曲进行融合，即融合成一首歌曲《忘情水》存储在歌曲库中，其中融合后的歌曲中包含上述两首歌曲的所有属性。

在数据融合的过程中，需要首先判断数据之间是否能够进行融合，通常是判断数据包含的特征是否能够融合。现有的处理方式是基于字符串对数据包含的特征进行比对判断，从而完成数据融合。但是，基于字符串对特征的严格匹配会造成数据的融合率较低。也就是说，这种方式会造成实际上能够进行融合的数据得不到融合。

发明内容

有鉴于此，本发明提供了一种数据融合方法及装置。

本发明提供了一种数据融合方法，所述方法包括：

提取第一数据和第二数据中的属性，其中，所述第一数据和所述第二数据中包括属性与属性值的对应关系；

计算各个属性之间的语义相似度值；

确定大于预设第一阈值的语义相似度值，并将每个所述语义相似度值对应的属性确定为所述第一数据和所述第二数据的一对共有属性；

通过比较每对共有属性对应的属性值，确定所述第一数据和所述第二数据之间的相似度值；

如果所述第一数据和所述第二数据之间的相似度值大于预设第二阈值，则将所述第一数据和所述第二数据进行融合。

优选地，所述通过比较每对共有属性对应的属性值，确定所述第一数据和所述第二数据之间的相似度值，包括：

从所述第一数据和所述第二数据中，获取每对共有属性对应的属性值，并计算同一对共有属性对应的属性值之间的语义相似度值；

根据每对共有属性对应的属性值之间的语义相似度值，确定所述第一数据和所述第二数据之间的相似度值。

优选地，所述方法还包括：

在所述第一数据和所述第二数据中，计算每对共有属性对应的权重值。

优选地，所述根据每对共有属性对应的属性值之间的语义相似度值，确定所述第一数据和所述第二数据之间的相似度值，包括：

将每对共有属性对应的属性值之间的语义相似度值与该对共有属性对应的权重值的乘积进行累加，得到所述第一数据和所述第二数据之间的相似度值。

优选地，所述根据每对共有属性对应的属性值之间的语义相似度值，确定所述第一数据和所述第二数据之间的相似度值之前，还包括：

从所述共有属性中，筛除所述语义相似度值不大于预设第三阈值的属性值对应的共有属性。

优选地，所述计算各个属性之间的语义相似度值之前，还包括：