[发明专利]分布式批处理的方法、装置和系统

摘要

本发明提供一种分布式批处理的方法、装置和系统，其中，该方法包括：各从节点监听主节点，在主节点宕机后，选择新的节点作为主节点；若主节点确定不进行分包执行，则主节点执行当前作业步骤的数据处理；若主节点确定进行分包执行，则主节点进行当前作业步骤的数据分包处理，主节点将分包生成的数据包发送给从节点，从节点处理数据包中的数据，从节点、主节点对错误数据进行重试。从节点监听到主节点消失时，选举新的节点为主节点接管批量作业，在主节点宕机时整个批处理作业可自动执行完成，从节点宕机后，处理任务被其他从节点接管，不需人工干预重作；采用错误补偿机制，提高批处理的处理能力和效率，数据处理不成功后可再进行数据的正常处理。

主权项

1.一种分布式批处理的方法，其特征在于，包括：主节点接收参数信息，所述主节点根据所述参数信息开始执行作业步骤；各从节点监听所述主节点，以在所述主节点宕机之后，选择新的节点作为主节点；所述主节点根据预存的当前作业步骤的配置信息，确定当前作业步骤的数据是否进行分包执行；若所述主节点确定当前作业步骤的数据不进行分包执行，则所述主节点执行当前作业步骤的数据处理；若所述主节点确定当前作业步骤的数据进行分包执行，则所述主节点进行当前作业步骤的数据分包处理；所述主节点将分包生成的数据包发送给从节点，所述从节点接收数据包，所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试；其中，所述从节点处理所述数据包中的数据，且所述从节点、所述主节点对错误数据进行重试，包括：所述从节点处理数据包中的数据；若当前数据包所有数据都处理成功，则所述从节点更新批处理数据库中的数据包记录结果为成功，且所述主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；若当前数据包所有数据中具有处理失败的数据，则所述从节点针对处理失败的数据，根据预设的包重试次数进行相应次数的重试处理；若处理失败的数据重试成功，则所述从节点更新批处理数据库中的数据包记录结果为成功；若对处理失败的数据重试之后具有不成功的数据，则所述从节点将不成功的数据记录到包执行错误记录表中，并更新数据包记录结果为失败；所述主节点确定包执行错误记录表中是否有错误数据，若没有错误数据，则所述主节点执行下一个作业步骤，若有错误数据，则所述主节点根据预设的作业步骤重试次数，对错误数据进行重试，并将重试失败的记录计入到批量处理结果表中之后所述主节点根据预设配置方式确定是否执行下一个作业步骤；其中，所述主节点根据预设配置方式确定是否执行下一个作业步骤，包括：若预设配置方式为失败之后继续执行下一个作业步骤，则所述主节点根据预设配置方式执行下一个作业步骤；若预设配置方式为失败之后结束作业，则所述主节点根据预设配置方式结束作业。