[发明专利]数据抽取方法、装置、电子设备和计算机可读介质

权利要求书

1.一种数据抽取方法，包括：

利用守护进程，检测目标数据集抽取任务是否完成；

响应于检测到所述目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，所述目标时间戳为所述目标数据集抽取任务启动或在执行所述目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；

响应于确定所述目标时间戳在所述第一时长内未发生变化，再次执行所述目标数据集抽取任务，以及对所述目标时间戳进行更新。

2.根据权利要求1所述的方法，其中，所述再次执行所述目标数据集抽取任务，包括：

将第一目标数据库确定为所述目标数据集的查询数据源以查询所述目标数据集；

响应于确定所述第一目标数据库对应的第一目标数据集查询失败次数达到第一数目，以及各次目标数据集查询的任务版本信息相同，将第二目标数据库确定为所述目标数据集的查询数据源以查询所述目标数据集；

响应于确定所述第二目标数据库对应的第二目标数据集查询失败次数小于第二数目，以及各次目标数据集查询的任务版本信息相同，从所述第二目标数据库中抽取所述目标数据集，以及将所述目标数据集发送至目标消息队列。

3.根据权利要求2所述的方法，其中，所述方法还包括：

对所述目标数据集中的每个数据添加主键信息，得到添加后的数据集；

将所述添加后的数据集的数据量确定为第一数据量，以及将所述目标消息队列中目标数据集的数据量确定为第二数据量；

响应于所述第一数据量等于所述第二数据量，对所述添加后的数据集进行数据校验。

4.根据权利要求3所述的方法，其中，所述方法还包括：

响应于确定所述第一目标数据集查询失败次数小于所述第一数目以及各次目标数据集查询的所述任务版本信息相同，继续从所述第一目标数据库中查询所述目标数据集。

5.根据权利要求2所述的方法，其中，所述方法还包括：

响应于确定所述第一目标数据库对应的各次目标数据集查询的任务版本信息不相同或所述第二目标数据库对应的各次目标数据集查询的任务版本信息不相同，结束再次执行的所述目标数据集抽取任务。

6.根据权利要求3所述的方法，其中，所述对所述添加后的数据集进行数据校验，包括：

基于所述第一目标数据库中的数据集或所述第二目标数据库的数据集，利用预设数据校验方法来对所述添加后的数据集进行数据校验。

7.根据权利要求2所述的方法，其中，所述方法还包括：

针对每次所述第一目标数据库查询所述目标数据集或每次所述第二目标数据库查询所述目标数据集，对更新后的目标时间戳进行再次更新。

8.根据权利要求2所述的方法，其中，通过以下步骤来确定所述第一目标数据库是否查询数据集失败：

响应于确定所述第一目标数据库查询所述目标数据集的查询时长大于第二时长，生成表征所述第一目标数据库查询所述目标数据集失败的信息。

9.根据权利要求2所述的方法，其中，通过以下步骤来确定所述第二目标数据库是否查询数据集失败：

响应于确定所述第二目标数据库查询所述目标数据集的查询时长大于第三时长，生成表征所述第二目标数据库查询所述目标数据集失败的信息。

10.一种数据抽取装置，包括：

检测单元，被配置成利用守护进程，检测目标数据集抽取任务是否完成；

确定单元，被配置成响应于检测到所述目标数据集抽取任务未完成，确定目标时间戳在第一时长内是否发生变化，其中，所述目标时间戳为所述目标数据集抽取任务启动或在执行所述目标数据集抽取任务过程中从数据库查询目标数据集的时间戳；

执行更新单元，被配置成响应于确定所述目标时间戳在所述第一时长内未发生变化，再次执行所述目标数据集抽取任务，以及对所述目标时间戳进行更新。