[发明专利]数据抽取方法、装置、计算机设备和存储介质

权利要求书

1.一种数据抽取方法，所述方法包括：

获取携带有待抽取数据标识的数据抽取任务；

根据所述数据抽取任务获取与所述待抽取数据标识对应的待抽取数据；

从所述待抽取数据中分页抽取中间数据，所述中间数据中包括错误标识数据；所述错误标识数据为抽取出的所述中间数据中存在错误的数据；

统计所述错误标识数据所对应的多种特征信息；

针对各特征信息，从所述中间数据中读取满足所述特征信息的部分中间数据，基于所述部分中间数据中错误标识数据与所述部分中间数据的比值，得到所述特征信息对应的数据错误率，将所述数据错误率大于第一阈值的特征信息标记为目标特征；

根据所述目标特征生成抽取条件；

根据所述抽取条件从所述待抽取数据中进行抽取，得到符合所述抽取条件的目标数据。

2.根据权利要求1所述的方法，其特征在于，所述数据抽取任务中还携带了所述中间数据对应的配置信息，所述配置信息中包括数量占比；所述从所述待抽取数据中分页抽取中间数据包括：

获取内存资源信息，根据所述内存资源信息确定数据容量条件；

从所述待抽取数据中提取满足所述数据容量条件的原始数据；

基于过滤条件对所述原始数据进行过滤，得到过滤后的数据；

从所述过滤后的数据中按照所述数量占比进行随机抽取，得到中间数据；

重复执行所述从所述待抽取数据中抽取满足所述数据容量条件的原始数据的步骤，直到遍历所有所述待抽取数据。

3.根据权利要求2所述的方法，其特征在于，所述配置信息中还包括属性信息；所述根据所述内存资源信息确定数据容量条件包括：

根据所述属性信息确定每个属性对应的数据的内存占用空间；

统计所述配置信息中所述中间数据包括的所有属性对应的数据的内存占用空间之和，得到所述中间数据对应的内存占用空间；

计算所述内存资源信息中的内存资源空间与所述中间数据对应的内存占用空间的比值，生成数据容量条件。

4.根据权利要求1所述的方法，其特征在于，所述根据所述目标特征生成抽取条件包括：

将不同特征类型的目标特征进行组合，得到多个组合条件；

根据所述组合条件从所述中间数据中提取对应的测试数据；

利用所述测试数据计算在所述中间数据中所述组合条件对应的数据错误率；

将所述组合条件对应的数据错误率大于第二阈值且包含的所述目标特征最多的组合条件标记为抽取条件。

5.根据权利要求1所述的方法，其特征在于，在所述根据所述抽取条件从所述待抽取数据中进行抽取，得到符合所述抽取条件的目标数据的步骤之后，所述方法还包括：

将所述目标数据对应的数据量与所述中间数据对应的数据量进行比对；

当所述目标数据对应的数据量大于所述中间数据对应的数据量时，则从所述目标数据中随机抽取所述中间数据对应数据量的目标数据。

6.一种数据抽取装置，其特征在于，所述装置包括：

任务获取模块，用于获取携带有待抽取数据标识的数据抽取任务；

数据获取模块，用于根据所述数据抽取任务获取与所述待抽取数据标识对应的待抽取数据；

数据抽取模块，用于从所述待抽取数据中分页抽取中间数据，所述中间数据中包括错误标识数据；所述错误标识数据为抽取出的所述中间数据中存在错误的数据；

特征信息统计模块，用于统计所述错误标识数据所对应的多种特征信息；

目标特征标记模块，用于针对各特征信息，从所述中间数据中读取满足所述特征信息的部分中间数据，基于所述部分中间数据中错误标识数据与所述部分中间数据的比值，得到所述特征信息对应的数据错误率，将所述数据错误率大于第一阈值的特征信息标记为目标特征；

抽取条件生成模块，用于根据所述目标特征生成抽取条件；

所述数据抽取模块还用于根据所述抽取条件从所述待抽取数据中进行抽取，得到符合所述抽取条件的目标数据。