[发明专利]一种任务处理进度的记录方法及装置

说明书

本发明公开了一种任务处理进度的记录方法及装置，涉及数据处理技术领域，为解决现有的利用分布式事务记录任务处理进度，当程序崩溃时为了准确记录任务处理量需要进行事务回滚处理，使得任务处理进度记录的性能较差的问题。本发明的方法包括：获取任务中的各个子任务分别对应的子任务处理日志；根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量；根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。本发明适合应用在对任务处理进度的记录中。

技术领域

本发明涉及数据处理技术领域，尤其涉及一种任务处理进度的记录方法及装置。

背景技术

随着大数据技术的迅速发展，大数据的应用场合也越来越广泛。在大数据任务处理过程，需要对任务处理进度进行监测。然而，通常情况下一个任务一般会包含大量数据的处理，也就相当于有大量的子任务，而且每条数据都会经过多个步骤的处理。因此，在记录任务处理进度时，为了把各个处理步骤中的任务总数量、已处理的任务数量保存下来，就需要在每当处理完一个或一批任务时对保存的数字进行更新。

目前，在对各个步骤中的任务处理进度进行记录时，主要是使用分布式事务来对任务量数字进行记录。然而当大数据任务处理程序崩溃时，对于当前正在各个任务处理模块中所处理的子任务，分布式事务无法准确记录其是否已经完成，为了确保任务处理进度记录的准确性需要进行处理事务回滚，例如当程序崩溃时分布式事务记录的已处理的任务数量为135，当再次启动时需要通过事务回滚处理判断记录的数字是否正确，并在记录错误时将数字进行修正，因此现有的利用分布式事务记录任务处理进度的方式使得任务处理进度记录的性能较差。

发明内容

鉴于上述问题，本发明提供一种任务处理进度的记录方法及装置，主要目的在于根据包含有各个任务处理模块在完成任务处理时创建的任务处理日志，对任务处理进度进行记录。

为解决上述技术问题，第一方面，本发明提供了一种任务处理进度的记录方法，该方法包括：

获取任务中的各个子任务分别对应的子任务处理日志，所述子任务处理日志为每个任务处理模块在完成其对应的每个所述子任务的处理时分别创建的；

根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量和第二任务数量，所述第一任务数量为注入所述任务处理模块的全部所述子任务的数量，所述第二任务数量为所述任务处理模块已经处理完成的所述子任务的数量；

根据所述第一任务数量和所述第二任务数量确定所述任务在各个所述任务处理模块中的处理进度并记录。

可选的，获取任务的处理日志之前，所述方法还包括：

对所述任务处理模块进行配置，以使得所述任务处理模块在完成各个所述子任务的处理时创建所述子任务处理日志。

可选的，所述子任务处理日志中包含有第一标识信息和第二标识信息，所述第一标识信息用于标识执行所述子任务处理和创建所述子任务处理日志的当前任务处理模块，所述第二标识信息用于标识执行所述子任务处理的下一个任务处理模块，所述子任务处理日志中还包含有数量信息，所述数量信息用于标识所述当前任务处理模块传递给所述下一个任务处理模块的所述子任务的数量，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第一任务数量包括：

根据所述第二标识信息提取每个所述任务处理模块所对应的所述子任务处理日志，得到每个所述任务处理模块所对应的第一日志集合；

依次提取所述第一日志集合中的各个所述子任务处理日志中的所述数量信息；

将提取的多个所述数量信息进行叠加，得到每个所述任务处理模块所对应的第一任务数量。

可选的，所述根据所述子任务处理日志分别计算与各个所述任务处理模块对应的第二任务数量包括：