[发明专利]一种增量式数据并行处理装置与方法

摘要

本发明提供一种增量式数据并行处理装置及方法，该方法包括分片模块，用于对源数据分片，得到数据块；分片编码模块，用于对数据块编码，得到数据块编码；并行化执行模块，用于对编码数据块和需要执行的任务信息启动并行计算任务，得到每个计算任务的执行结果；执行记录模块，用于将执行结果记录在执行日志中；智能跳过模块，用于根据执行日志智能判定需要执行的任务信息，并将该信息发送给并行化执行模块；修正判断模块，用于根据执行结果判断是否有失败的计算任务，若有，向修正程序模块发送指令；修正程序模块，用于根据执行失败的计算任务信息修正程序。本发明的增量式数据并行处理装置与方法能够跳过成功的计算任务，只执行失败的计算任务。

主权项

一种增量式数据并行处理装置，其特征在于，包括：分片模块，用于根据分片策略对源数据进行分片，以得到数据块信息，并将所述数据块信息发送至分片编码模块；分片编码模块，用于接收所述数据块信息，利用编码对数据块进行标记，得到数据块及数据块编码信息，并将所述数据块及数据块编码信息发送至并行化执行模块；并行化执行模块，用于接收所述数据块及数据块编码信息和需要执行的计算任务信息，对所述数据块及数据块编码信息和所述需要执行的计算任务信息启动并行计算任务，得到每个计算任务的执行结果，对每个计算任务进行编码，得到任务编码，将每个计算任务的执行结果和任务编码对应，并将每个计算任务的执行结果发送至执行记录模块和修正判断模块；执行记录模块，用于接收每个计算任务的执行结果，并将每个计算任务的执行结果记录在执行日志中，并将所述执行日志发送至智能跳过模块；智能跳过模块，用于接收所述执行日志，根据执行日志智能判定需要执行的计算任务信息，并将所述需要执行的计算任务信息发送给所述并行化执行模块；修正判断模块，用于接收每个计算任务的执行结果，根据所述执行结果判断是否有计算任务执行失败，当有计算任务执行失败时，将执行失败的计算任务信息发送至修正程序模块；修正程序模块，用于接收执行失败的计算任务信息，根据执行失败的计算任务信息修正程序。