[发明专利]数据抽取方法、装置、电子设备和计算机可读介质

说明书

本公开的实施例公开了数据抽取方法、装置、电子设备和计算机可读介质。该方法的一具体实施方式包括：利用守护进程，检测目标数据集抽取任务是否完成；响应于检测到该目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，该目标时间戳为该目标数据集抽取任务启动或在执行该目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；响应于确定该目标时间戳在该第一时长内未发生变化，再次执行该目标数据集抽取任务，以及对该目标时间戳进行更新。该实施方式可以快捷、高效地实现目标数据集的抽取。

技术领域

本公开的实施例涉及计算机技术领域，具体涉及数据抽取方法、装置、电子设备和计算机可读介质。

背景技术

目前，各个公司在执行某种业务时，常常需要获取某一时刻的静态库存数据才能完成上述业务。因此，库存快照的稳定性和准确性对于各个公司来说是至关重要的。对于库存快照的获取，通常采用的方式为：配置一个任务定时去数据库定时采集数据以获取库存快照。

然而，当采用上述方式来获取库存快照，经常会存在如下技术问题：

当系统出现宕机或者数据库出现连接超时，不能准确地生成库存快照。即使后续生成库存快照，也存在耗时耗力的问题。

发明内容

本公开的内容部分用于以简要的形式介绍构思，这些构思将在后面的具体实施方式部分被详细描述。本公开的内容部分并不旨在标识要求保护的技术方案的关键特征或必要特征，也不旨在用于限制所要求的保护的技术方案的范围。

本公开的一些实施例提出了数据抽取方法、装置、电子设备和计算机可读介质，来解决以上背景技术部分提到的技术问题。

第一方面，本公开的一些实施例提供了一种数据抽取方法，包括：利用守护进程，检测目标数据集抽取任务是否完成；响应于检测到上述目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，上述目标时间戳为上述目标数据集抽取任务启动或在执行上述目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；响应于确定上述目标时间戳在上述第一时长内未发生变化，再次执行上述目标数据集抽取任务，以及对上述目标时间戳进行更新。

可选地，上述再次执行上述目标数据集抽取任务，包括：将第一目标数据库确定为上述目标数据集的查询数据源以查询上述目标数据集；响应于确定上述第一目标数据库对应的第一目标数据集查询失败次数达到第一数目，以及各次目标数据集查询的任务版本信息相同，将第二目标数据库确定为上述目标数据集的查询数据源以查询上述目标数据集；响应于确定上述第二目标数据库对应的第二目标数据集查询失败次数小于第二数目，以及各次目标数据集查询的任务版本信息相同，从上述第二目标数据库中抽取上述目标数据集，以及将上述目标数据集发送至目标消息队列。

可选地，上述方法还包括：对上述目标数据集中的每个数据添加主键信息，得到添加后的数据集；将上述添加后的数据集的数据量确定为第一数据量，以及将上述目标消息队列中目标数据集的数据量确定为第二数据量；响应于上述第一数据量等于上述第二数据量，对上述添加后的数据集进行数据校验。

可选地，上述方法还包括：响应于确定上述第一目标数据集查询失败次数小于上述第一数目以及各次目标数据集查询的上述任务版本信息相同，继续从上述第一目标数据库中查询上述目标数据集。

可选地，上述方法还包括：响应于确定上述第一目标数据库对应的各次目标数据集查询的任务版本信息不相同或上述第二目标数据库对应的各次目标数据集查询的任务版本信息不相同，结束再次执行的上述目标数据集抽取任务。

可选地，上述对上述添加后的数据集进行数据校验，包括：基于上述第一目标数据库中的数据集或上述第二目标数据库的数据集，利用预设数据校验方法来对上述添加后的数据集进行数据校验。

可选地，上述方法还包括：针对每次上述第一目标数据库查询上述目标数据集或每次上述第二目标数据库查询上述目标数据集，对更新后的目标时间戳进行再次更新。