[发明专利]数据融合方法、装置、电子设备及计算机可读存储介质

说明书

本发明提供了一种数据融合方法、装置、电子设备及计算机可读存储介质，包括：将不同来源的待融合数据进行分类，得到多个子类别数据；在预先建立的标准数据库中查找每个子类别数据的相似数据，并确定相似数据与子类别数据之间的相似度；根据相似度将子类别数据与标准数据库进行融合。本发明可以降低分类错误率，减少融合数据库中的无效数据，提升了数据库数据的质量。

技术领域

本发明涉及人工智能技术领域，尤其是涉及一种数据融合方法、装置、电子设备及计算机可读存储介质。

背景技术

当今社会中存在众多数据融合的场景，传统的数据融合方法通常是根据一列字段的具体描述，查找到待融合数据中的具体字段进行对齐合并后融合成一个新的数据库，在数据不对齐的情况下，需要会对原始数据库添加更多列从而达到数据融合的效果。由于现有技术中仅通过人工判断每一列字段是否一致，从而导致融合数据库中存在错误的分类信息；此外，由于不同来源的待融合数据中可能包含大量重复的信息，而现有的融合技术中不会对待融合数据进行识别，因此会导致数据冗余问题。综上所述，现有的数据融合方法的得到的融合数据库中可能会存在重复和错误的分类信息，从而导致融合数据库中的数据量大且质量差。

发明内容

有鉴于此，本发明的目的在于提供一种数据融合方法、装置、电子设备及计算机可读存储介质，以降低了分类错误率，减少了融合数据库中的无效数据，提升了数据库数据的质量。

第一方面，本发明实施例提供了一种数据融合方法，包括：将不同来源的待融合数据进行分类，得到多个子类别数据；在预先建立的标准数据库中查找每个子类别数据的相似数据，并确定相似数据与子类别数据之间的相似度；根据相似度将子类别数据与标准数据库进行融合。

在一种实施方式中，将不同来源的待融合数据进行分类，得到多个子类别数据的步骤，包括：按照指定标点符号将不同来源的待融合数据划分为多个句子；基于预先训练的语言模型将每个句子进行矢量化表示；基于预先训练的神经网络模型对矢量化的每个句子进行加权；基于标准数据库中的分类类别将加权后的每个句子进行分类，确定每个句子对应的分类类别。

在一种实施方式中，按照指定标点符号将不同来源的待融合数据划分为多个句子的步骤之前，还包括：将不同来源的原始非结构数据进行预分类得到待融合数据。

在一种实施方式中，在预先建立的标准数据库中查找每个子类别数据的相似数据，并确定相似数据与子类别数据之间的相似度的步骤，包括：在预先建立的标准数据库中查找与每个子类别数据分类类别相同的数据，并将查找到的数据作为相似数据；根据子类别数据与相似数据中的关键词和关键实体确定子类别数据与相似数据之间的句子相似度；和/或，根据子类别数据与相似数据中的数值信息确定子类别数据与相似数据之间的数值相似度；和/或，基于神经网络的有监督学习算法确定子类别数据与相似数据之间的语义相似度。

在一种实施方式中，根据子类别数据与相似数据中的数值信息确定子类别数据与相似数据之间的数值相似度的步骤，包括：获取子类别数据和相似数据中的数值信息；其中，数值信息包括数值和单位；当单位不一致时，通过单位转换方式将子类别数据和相似数据中的数值信息进行归一化处理；根据归一化的数值信息确定子类别数据与相似数据之间的数值相似度。

在一种实施方式中，根据相似度将子类别数据与标准数据库进行融合的步骤，包括：根据相似度判断子类别数据中是否有与相似数据表述不一致的信息字段；如果有，将子类别数据中与相似数据表述不一致的信息字段更新至标准数据库中。

在一种实施方式中，将子类别数据中与相似数据表述不一致的信息字段更新至标准数据库中的步骤，包括：通过深度学习文本二分类算法验证子类别数据中与相似数据表述不一致的信息字段是否实质一致；如果否，将子类别数据中与相似数据表述不一致的信息字段更新至标准数据库中。