[发明专利]一种数据提取的处理方法、装置、设备和存储介质

说明书

本发明实施例公开了一种数据提取的处理方法、装置、设备和存储介，该方法包括：获取当前数据集中的当前数据字段和历史数据提取模型中的历史数据字段，并将所述历史数据字段与所述当前数据字段进行字段匹配，确定匹配成功字段；若所述匹配成功字段包含所述历史数据字段，则确定所述当前数据集中所述匹配成功字段的填充率；当所述匹配成功字段的填充率满足预设填充率时，建立所述当前数据集和所述历史数据提取模型的映射关系，并基于所述历史数据提取模型及所述映射关系对所述当前数据集进行数据提取。本发明实施例通过字段匹配和填充率检测，使得大数据系统中的数据集与数据提取模型实现智能化同步。

技术领域

本发明实施例涉及大数据处理技术领域，尤其涉及一种数据提取的处理方法、装置、设备和存储介质。

背景技术

大数据(Big Data)是高科技时代的产物，被用来描述和定义信息爆炸时代产生的海量数据。随着云计算、移动互联网和物联网等新一代信息技术的创新和应用普及，大数据成为了社会关注的焦点。大数据的最大价值在于通过从大量不相关的各种类型的数据中，挖掘出对未来趋势与模式预测分析有价值的数据，通过机器学习、人工智能和数据挖掘等方法进行深度分析，发现新规律和知识，并运用于各个领域，促进社会和经济的发展。

其中，数据提取是大数据分析的重要环节，通过数据提取模型规则可以快速的从海量数据中提取符合分析需求的数据。但由于数据是处于不断更新的状态，在实际应用中，会出现新增的数据集加入，已有数据集被删除或者是已有数据集被更改等情况发生。因此，与数据集对应的数据提取模型也要进行更新。而对于新增的数据集或变更的数据集，通常需要对数据集和数据提取模型映射关系进行手工调整。

基于上述技术方案，面对海量的数据更新，人工调整数据集和数据提取模型映射关系效率低下，且产生大量人力和财力的浪费。

发明内容

本发明实施例提供一种数据提取的处理方法、装置、设备和存储介质，以实现对大数据系统中的数据集与数据提取模型的自动化适配。

第一方面，本发明实施例提供了一种数据提取的处理方法，该方法包括：

获取当前数据集中的当前数据字段和历史数据提取模型中的历史数据字段，并将所述历史数据字段与所述当前数据字段进行字段匹配，确定匹配成功字段；

若所述匹配成功字段组成的集合包含所述历史数据字段组成的集合，则确定所述当前数据集中所述匹配成功字段的填充率；

当所述匹配成功字段的填充率满足预设填充率时，建立所述当前数据集和所述历史数据提取模型的映射关系，并基于所述历史数据提取模型及所述映射关系对所述当前数据集进行数据提取。

第二方面，本发明实施例还提供了一种数据提取的处理装置，该装置包括：

匹配成功字段确定模块，用于获取当前数据集中的当前数据字段和历史数据提取模型中的历史数据字段，并将所述历史数据字段与所述当前数据字段进行字段匹配，确定匹配成功字段；

填充率确定模块，用于若所述匹配成功字段组成的集合包含所述历史数据字段组成的集合，则确定所述当前数据集中所述匹配成功字段的填充率；

数据提取模块，用于当所述匹配成功字段的填充率满足预设填充率时，建立所述当前数据集和所述历史数据提取模型的映射关系，并基于所述历史数据提取模型及所述映射关系对所述当前数据集进行数据提取。

第三方面，本发明实施例还提供了一种设备，该设备包括：

一个或多个处理器；

存储器，用于存储一个或多个程序；

当所述一个或多个程序被所述一个或多个处理器执行时，使得所述一个或多个处理器实现上述所涉及的任一所述的数据提取的处理方法。