[发明专利]批量数据处理方法、装置、计算机设备及存储介质

摘要

本发明公开了一种批量数据处理方法、装置、计算机设备及存储介质。所述方法包括：将批量数据划分为若干个片段化数据；自运行状态记录表中选取运行记录时间的数值最大的历史运行记录项并将其记录为最末成功运行项；获取创建时间在最末成功运行项的运行记录时间与当前时间之间的所有异常信息，从获取的所有异常信息中确定最末位置的结束值，确定最末位置的结束值所属的异常信息的创建时间；在确认最末位置的结束值所属的异常信息的创建时间大于最末成功运行项的运行记录时间时，根据最末位置的结束值确定批量数据中下一个待处理的片段化数据。通过本发明提供的方法可以实现批量数据的数据高可用性。

主权项

1.一种批量数据处理方法，其特征在于，包括：/n接收分段处理指令，将批量数据按照预设的划分队列划分为若干个片段化数据；每一个所述片段化数据中的数据量均包括自初始数据开始并至最末数据结束的单次最大处理量；/n自数据库中获取错误信息记录表和运行状态记录表；所述运行状态记录表中包括至少一项历史运行记录项，每一项所述历史运行记录项包括完成一个所述批量数据的运行后的运行状态和运行记录时间，所述运行状态包括运行成功和运行失败，所述错误信息记录表中包括至少一项异常信息；一个所述片段化数据运行完毕之后生成一项所述异常信息，且每一项所述异常信息均与该异常信息的创建时间关联；/n检测是否接收到启动指令，在接收到所述启动指令时，自所述运行状态记录表中所有所述运行状态为运行成功的所述历史运行记录项中，选取所述运行记录时间的数值最大的所述历史运行记录项并将其记录为最末成功运行项；/n获取创建时间在所述最末成功运行项的所述运行记录时间与当前时间之间的所有所述异常信息，从获取的所有所述异常信息中确定排列在所述划分队列中最末位置的结束值，并确定最末位置的所述结束值所属的所述异常信息的创建时间；/n在确认最末位置的所述结束值所属的所述异常信息的创建时间大于所述最末成功运行项的所述运行记录时间时，根据最末位置的所述结束值确定所述批量数据中下一个待处理的所述片段化数据，对下一个待处理的所述片段化数据进行数据处理，并在下一个待处理的所述片段化数据的数据处理完毕之后生成一项所述异常信息并将其插入所述错误信息记录表中。/n