[发明专利]数据抽取方法、装置及设备、存储介质

说明书

本发明提供一种数据抽取方法、装置及设备、存储介质，该方法包括：从已配置的表单模板中获取与待处理的表单匹配的目标表单模板，每一表单模板具有对应的数据库表，且表单模板包含对应数据库表中表单头部的至少一个字段的字段信息；依据所述目标表单模板中的字段信息从所述表单中确定出与所述字段信息对应的数据，得到目标数据；将所述目标数据抽取至所述目标表单模板对应的数据库表中。无需针对每个表单配置相应的抽取方式，可减少配置所需的工作量。

技术领域

本发明涉及数据处理技术领域，尤其涉及的是一种数据抽取方法、装置及设备、存储介质。

背景技术

随着我国信息化建设的不断推进和深化，政府机关、企业集团及各行业业务系统的建设已经达到了一定的水平。数据的存储方式也多种多样，可以存储在不同类型的数据库，也可以存储在文件中。对于一些文件比如Excel文件来说，文件中具有至少一个表单，表单内的数据一般是人工填写，同一个业务系统中，可能因为地区或者部门不同，表单格式也不尽相同，就会有海量不同结构的Excel文件。

在应对一些业务需求时，需要将海量不同结构的Excel文件中的数据按类别存储到相应的数据库表中，比如，从各种不同结构的Excel文件中抽取出气象类数据存储到一个数据库表中，从各种不同结构的Excel文件中抽取出蔬菜类数据存储到另一个数据库表中，这就可以采用ETL技术来实现。ETL是数据集成领域的落地技术，区别于传统数据交换，ETL在可完成基本数据交换（抽取、传输、装载）的前提下，对数据的转换（即数据的按需加工处理）提供更易用和更强大的支持，使数据在不同业务之间流动的同时，保证各业务获取到的数据是准确、及时、符合业务需求的。

在现有的ETL技术中，应对海量不同结构的Excel文件的抽取方案，大多都需要人工去识别Excel文件中每一个表单格式，针对每个表单，根据表单格式配置相应的抽取方式，再对表单中的数据进行抽取，费时费力。

发明内容

有鉴于此，本发明提供一种数据抽取方法、装置及设备、存储介质，无需针对每个表单配置相应的抽取方式，可减少配置所需的工作量。

本发明第一方面提供一种数据抽取方法，包括：

从已配置的表单模板中获取与待处理的表单匹配的目标表单模板，每一表单模板具有对应的数据库表，且表单模板包含对应数据库表中表单头部的至少一个字段的字段信息；

依据所述目标表单模板中的字段信息从所述表单中确定出与所述字段信息对应的数据，得到目标数据；

将所述目标数据抽取至所述目标表单模板对应的数据库表中。

根据本发明的一个实施例，从已配置的表单模板中获取与待处理的表单匹配的目标表单模板，包括：

遍历所述表单中的每一行单元格：

在所述已配置的表单模板中查找包含的字段信息与该行单元格的内容匹配的表单模板；

若查找到，则确定该行单元格为所述表单的表单头部，并将查找到的表单模板确定为所述目标表单模板。

根据本发明的一个实施例，所述表单的表单头部的数量为1个；该方法进一步包括：

当确定该行单元格为所述表单的表单头部时，结束对所述表单的遍历。

根据本发明的一个实施例，该方法进一步包括：

若未查找到，则检查当前对所述表单的遍历次数是否达到最大遍历次数，如果是，则结束对所述表单的遍历，否则继续对所述表单的遍历。

根据本发明的一个实施例，在所述已配置的表单模板中查找包含的字段信息与该行单元格的内容匹配的表单模板进一步为：