[发明专利]数据抽取方法、装置、计算机设备和存储介质

说明书

本申请涉及一种数据抽取方法、装置、计算机设备和存储介质。所述方法包括：获取携带有待抽取数据标识的数据抽取任务；根据所述数据抽取任务获取与所述待抽取数据标识对应的待抽取数据；从所述待抽取数据中分页抽取中间数据，所述中间数据中包括错误标识数据；统计所述错误标识数据所对应的多种特征信息；计算在所述中间数据中所述特征信息分别对应的数据错误率，将所述数据错误率大于第一阈值的特征信息标记为目标特征；根据所述目标特征生成抽取条件；根据所述抽取条件从所述待抽取数据中进行抽取，得到符合所述抽取条件的目标数据。采用本方法能够提高数据抽取的准确性。

技术领域

本申请涉及计算机技术领域，特别是涉及一种数据抽取方法、装置、计算机设备和存储介质。

背景技术

随着计算机技术的发展，计算机可以处理大量的数据。为了保证得到的数据的正确性，用户通常需要对得到的数据进行检查。由于数据的海量增加，依次检查全部的数据非常耗费时间成本和工作资源。因此，出现了对数据的抽检方式。通过对抽取出的部分数据进行检查，以此来评估全部数据的整体数据质量。

在传统方式中，抽取数据的方式通常是针对全部的数据一次性随机抽取出部分数据用于检查。但是，这种方式抽取出的数据只是整体数据中的一部分，随机抽取得到的数据存在偶然性，并不能够准确的反映整体数据的数据质量。因此，为了抽取出的数据能够准确的反映整体数据的数据质量，如何准确的抽取数据成为目前需要解决的技术问题。

发明内容

基于此，有必要针对上述数据抽取不准确的技术问题，提供一种能够提高数据抽取准确性的数据抽取方法、装置、计算机设备和存储介质。

一种数据抽取方法，所述方法包括：

获取携带有待抽取数据标识的数据抽取任务；

根据所述数据抽取任务获取与所述待抽取数据标识对应的待抽取数据；

从所述待抽取数据中分页抽取中间数据，所述中间数据中包括错误标识数据；

统计所述错误标识数据所对应的多种特征信息；

计算在所述中间数据中所述特征信息分别对应的数据错误率，将所述数据错误率大于第一阈值的特征信息标记为目标特征；

根据所述目标特征生成抽取条件；

根据所述抽取条件从所述待抽取数据中进行抽取，得到符合所述抽取条件的目标数据。

在其中一个实施例中，所述数据抽取任务中还携带了所述中间数据对应的配置信息，所述配置信息中包括数量占比；所述从所述待抽取数据中分页抽取中间数据包括：

获取内存资源信息，根据所述内存资源信息确定数据容量条件；

从所述待抽取数据中提取满足所述数据容量条件的原始数据；

基于过滤条件对所述原始数据进行过滤，得到过滤后的数据；

从所述过滤后的数据中按照所述数量占比进行随机抽取，得到中间数据；

重复执行所述从所述待抽取数据中抽取满足所述数据容量条件的原始数据的步骤，直到遍历所有所述待抽取数据。

在其中一个实施例中，所述配置信息中还包括属性信息；所述根据所述内存资源信息确定数据容量条件包括：

根据所述属性信息确定每个属性对应的数据的内存占用空间；

统计所述配置信息中所述中间数据包括的所有属性对应的数据的内存占用空间之和，得到所述中间数据对应的内存占用空间；

计算所述内存资源信息中的内存资源空间与所述中间数据对应的内存占用空间的比值，生成数据容量条件。