[发明专利]不同数据源的数据抽取方法、装置、设备及存储介质

权利要求书

1.不同数据源的数据抽取方法，其特征在于，包括：

获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；

根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库。

2.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，所述计算数据源属性名与预设属性名的相似度的方法包括，根据最长公共子串算法、编辑距离算法和基于词嵌入的相似度算法分别计算数据源属性名与预设属性名的最长公共子串相似度、编辑距离相似度和基于词嵌入相似度；根据相似度权重，计算数据源属性名与预设属性名的总相似度，其中，式中，sim为总相似度，sim₁为最长公共子串相似度，sim₂为编辑距离相似度，sim₃为基于词嵌入相似度，a、b、c为相似度权重，且a+b+c＝1。

3.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，所述根据数据源的优先级，按照设定的抽取规则抽取数据入库包括，按照优先级顺序依次对数据源进行处理，其中，最高优先级的数据源按照相等规则直接抽取此数据源字段的值入库，抽取后，后续数据源不再处理，若最高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取；次高优先级的数据源按照正则匹配规则抽取此数据源字段中匹配到的值入库，抽取后，后续数据源不再处理，若次高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取。

4.如权利要求1所述的不同数据源的数据抽取方法，其特征在于，还包括，获取数据源更新的数据，并将其作为消息存放至消息队列中，当所述消息队列不空时，取出一个所述消息，获取所述消息的属性名，根据所述属性名映射表查找所述库中对应的原始数据，将所述原始数据的最后修改时间与所述消息的更新时间进行比对，若所述更新时间为最新，则按照设定的合并、更新规则更新所述库，否则跳出，其中，所述设定的合并、更新规则包括，根据所述属性名映射表查找所述原始数据对应的数据源的优先级，若所述消息对应的数据源的优先级高于所述原始数据对应的数据源的优先级，则将所述消息更新到所述库中，否则不更新。

5.不同数据源的数据抽取装置，其特征在于，包括，

属性名映射表构建模块，其用于获取数据源和数据源属性名，计算数据源属性名与预设属性名的相似度，若所述相似度大于预设阈值，则建立所述数据源属性名与所述预设属性名的映射关系，构建属性名映射表；

数据抽取模块，其用于根据所述属性名映射表，获取与所述预设属性名对应的不同数据源，根据数据源的优先级，按照设定的抽取规则抽取数据入库。

6.如权利要求5所述的不同数据源的数据抽取装置，其特征在于，所述计算数据源属性名与预设属性名的相似度的方法包括，根据最长公共子串算法、编辑距离算法和基于词嵌入的相似度算法分别计算数据源属性名与预设属性名的最长公共子串相似度、编辑距离相似度和基于词嵌入相似度；根据相似度权重，计算数据源属性名与预设属性名的总相似度，其中，式中，sim为总相似度，sim₁为最长公共子串相似度，sim₂为编辑距离相似度，sim₃为基于词嵌入相似度，a、b、c为相似度权重，且a+b+c＝1。

7.如权利要求5所述的不同数据源的数据抽取装置，其特征在于，所述根据数据源的优先级，按照设定的抽取规则抽取数据入库包括，按照优先级顺序依次对数据源进行处理，其中，最高优先级的数据源按照相等规则直接抽取此数据源字段的值入库，抽取后，后续数据源不再处理，若最高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取；次高优先级的数据源按照正则匹配规则抽取此数据源字段中匹配到的值入库，抽取后，后续数据源不再处理，若次高优先级的数据源字段不存在，则跳出，进入下一优先级数据源的数据抽取。