[发明专利]不同数据源的数据抽取方法、装置、设备及存储介质

说明书

本发明公开了不同数据源的数据抽取方法，包括：获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库；以及，不同数据源的数据抽取装置，设备和存储介质。本发明通过自动化创建属性名映射表，可以对不同数据源的数据进行自动抽取，高效地构建不同领域的知识库并自动化更新，成本低。

技术领域

本发明涉及数据抽取领域。更具体地说，本发明涉及一种不同数据源的数据抽取方法及装置。

背景技术

随着互联网的快速发展，我们已经进入了大数据时代，世界充斥着各种模态的数据。在文本领域中，同样的数据在不同数据源也存在着不同的展现形式，既消耗了大量的存储资源，又对数据资源的使用造成不便。例如在各类知识库系统构建过程中，需要采集的信息大多空间和时间跨度大、涉及行业领域广、数据采集源多，并且结构化和非结构化数据混杂。因此迫切需要设计一种针对不同数据源的数据抽取方法。

目前，基于不同数据源的数据抽取方法都采用人工的形式。对于一般的数据抽取系统，先由人工统计不同网站的属性名，按照自身的语义理解完成属性名映射表的构建，最后再进行后续的属性名映射和属性值填充的工作。这种方式消耗了大量的人力和时间成本，在专业领域的构建时，往往还需专家的参与，因此无法实现大规模的自动化工作。

发明内容

本发明的一个目的是提供一种不同数据源的数据抽取方法，其克服上述现有方法存在成本高及无法自动化的不足，且采用本发明的方法构建的知识库系统与采用人工构建映射表的方式构建的知识库系统相比，知识库规模大致相同。

为了实现根据本发明的目的和其它优点，提供了一种不同数据源的数据抽取方法，包括：

获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；

根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库。

优选的是，所述的不同数据源的数据抽取方法，所述计算数据源属性名与预设属性名的相似度的方法包括，根据最长公共子串算法、编辑距离算法和基于词嵌入的相似度算法分别计算数据源属性名与预设属性名的最长公共子串相似度、编辑距离相似度和基于词嵌入相似度；根据相似度权重，计算数据源属性名与预设属性名的总相似度，其中，式中，sim为总相似度，sim₁为最长公共子串相似度，sim₂为编辑距离相似度，sim₃为基于词嵌入相似度，a、b、c为相似度权重，且a+b+c＝1。

优选的是，所述的不同数据源的数据抽取方法，所述根据数据源的优先级，按照设定的抽取规则抽取数据入库包括，按照优先级顺序依次对数据源进行处理，其中，最高优先级的数据源按照相等规则直接抽取此数据源字段的值入库，抽取后，后续数据源不再处理，若最高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取；次高优先级的数据源按照正则匹配规则抽取此数据源字段中匹配到的值入库，抽取后，后续数据源不再处理，若次高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取。