[发明专利]数据采集方法、装置、设备及计算机可读存储介质

说明书

本申请实施例提供一种数据采集方法、装置、设备及计算机可读存储介质。该方法包括：获取包含文本数据的图像；识别所述图像中的文本数据，得到原始文本数据集合，所述原始文本数据集合包括多条原始文本数据；基于预设杂质数据集合，滤除所述原始文本数据集合中的杂质数据，得到中间文本数据集合，所述中间文本数据集合包括多条中间文本数据；基于预设规则集合，提取所述中间文本数据集合中每条中间文本数据中的参数名和与所述参数名对应的参数值，得到目标文本数据集合；将所述目标文本数据集合输出。本申请实施例能够提高数据采集效率。

技术领域

本申请实施例涉及数据处理技术领域，尤其涉及一种数据采集方法、装置、设备及计算机可读存储介质。

背景技术

在一些使用纸质版或电子版文件的场景下，由于需要将纸质版或电子版文件上的一些数据输入计算机以进行进一步处理或使用，因此需要将纸质版或电子版文件中的数据识别，并转换成计算机能够识别的方式。

目前，纸质版或者电子版的文件上的数据都是通过手动录入方式输入计算机中，手动录入的方式不仅耗时，且容易出错，导致数据采集效率和数据采集的准确率比较低。

发明内容

本申请实施例提供一种数据采集方法、装置、设备及计算机可读存储介质，以提高数据采集效率和数据采集的准确率。

第一方面，本申请实施例提供一种数据采集方法，包括：获取包含文本数据的图像；识别所述图像中的文本数据，得到原始文本数据集合，所述原始文本数据集合包括多条原始文本数据；基于预设杂质数据集合，滤除所述原始文本数据集合中的杂质数据，得到中间文本数据集合，所述中间文本数据集合包括多条中间文本数据；基于预设规则集合，提取所述中间文本数据集合中每条中间文本数据中的参数名和与所述参数名对应的参数值，得到目标文本数据集合；将所述目标文本数据集合输出。

可选的，所述识别所述图像中的文本数据，得到原始文本数据集合，包括：通过文本提取的方式提取所述包含文本数据的图像中的文本数据；若提取失败，则采用图像文字识别的方式识别所述图像中文本数据，并按照所述图像中文本数据的顺序提取所述文本数据。

可选的，所述预设杂质数据集合包括多条杂质数据，所述杂质数据是从所述原始数据集合中待去除的数据；所述基于预设杂质数据集合，滤除所述原始文本数据集合中的杂质数据，得到中间文本数据集合，包括：对所述原始文本数据集合中的每一条原始文本数据，确定是否包括所述预设杂质数据集合中的杂质数据；若所述原始文本数据包括所述预设杂质数据集合中的杂质数据，则将所述原始文本数据中的杂质数据设置为空；在所述原始文本数据集合中的所有原始文本数据都执行完上述步骤后，得到所述中间文本数据集合。

可选的，所述预设规则集合包括多条预设规则；所述基于预设规则集合，提取所述中间文本数据集合中每条中间文本数据中的参数名和与所述参数名对应的参数值，得到目标文本数据集合，包括：对所述中间文本数据集合中的每一条中间文本数据，确定是否符合所述预设规则集合中的预设规则；若所述中间文本数据符合所述预设规则集合中的预设规则，则基于所述预设规则提取所述中间文本数据中的参数名和与所述参数名对应的参数值；在所述中间文本数据集合中的所有中间文本数据都执行完上述步骤后，得到所述目标文本数据集合。

可选的，所述预设规则集合包括多条正则表达式；所述基于预设规则集合，提取所述中间文本数据集合中每条中间文本数据中的参数名和与所述参数名对应的参数值，得到目标文本数据集合，包括：对所述中间文本数据集合中的每条中间文本数据，将该中间文本数据与所述多条正则表达式进行匹配；基于匹配成功的正则表达式提取该中间文本数据中的参数名和与所述参数名对应的参数值；在所述中间文本数据集合中的所有中间文本数据都执行完上述步骤后，得到所述目标文本数据集合。

可选的，所述将所述目标文本数据集合输出，包括：将所述目标文本数据存储至数据库。