[发明专利]一种批量数据处理方法及装置

权利要求书

1.一种批量数据处理方法，其特征在于，应用于分布式资源处理系统，所述方法包括：

在数据管理区获取到批量数据处理任务请求后，若根据所述任务请求中的任务标识信息确定当前批量数据处理周期内未执行过所述任务后，则针对所述任务请求确定任务执行标识信息，将所述任务的状态修改为正在执行中；

若确定所述任务需要发送到数据通信网络DCN区，则根据所述任务执行标识信息确定所述DCN区中是否存在DCN节点正在执行所述任务；

若确定所述DCN区中不存在DCN节点正在执行所述任务，则将所述任务发送给所述DCN区中的至少一个DCN节点，以使所述DCN节点处理所述任务，并将所述DCN节点的执行状态修改为正在执行中；

若确定DCN区中执行所述任务的DCN节点都已经完成任务，则将所述任务的状态修改为任务执行成功。

2.根据权利要求1所述的方法，其特征在于，所述根据所述任务请求中的任务标识信息确定当前批量数据处理周期内未执行过所述任务，包括：

若确定所述第一数据表中在当前批量数据处理周期内未查找到所述任务标识信息，则确定当前批量数据处理周期内未执行过所述任务，所述第一数据表用于记录不同批量数据处理周期内执行过的批量数据处理任务的任务标识信息。

3.根据权利要求1或2所述的方法，其特征在于，所述确定所述DCN区中不存在DCN节点正在执行所述任务，包括：

若在数据管理区的第二数据表中未查找到所述任务执行标识信息，且在数据管理区的第三数据表中未查找到所述任务执行标识信息，则确定所述DCN区中不存在DCN节点正在执行所述任务，所述第二数据表用于记录不同批量数据处理周期内执行过的任务执行标识信息、所述任务执行标识信息对应的各DCN节点以及各DCN节点的任务执行状态，所述第三数据表用于记录在不同批量数据处理周期内执行过的任务执行标识信息以及向所述任务执行标识信息对应的各DCN节点发送批量数据处理任务通知的数量。

4.根据权利要求3所述的方法，其特征在于，所述若在数据管理区的第二数据表中未查找到所述任务执行标识信息，且在数据管理区的第三数据表中未查找到所述任务执行标识信息后，确定所述DCN区中不存在DCN节点正在执行所述任务前，还包括：

确定DCN区中每个DCN节点的第四数据表中未查找到所述任务执行标识信息，所述第四数据表用于记录每个DCN节点针对不同的任务执行标识信息对应的批量数据处理任务的任务执行状态。

5.根据权利要求2所述的方法，其特征在于，所述方法还包括：

若确定所述第一数据表中在当前批量数据处理周期内能够查询到所述任务标识信息，则确定所述任务标识信息对应的任务执行状态；

若确定所述任务执行状态为任务失败，则执行确定所述批量数据处理任务是否需要发送到数据通信网络DCN区的步骤，并将所述批量数据处理任务的状态修改为正在执行中。

6.根据权利要求3所述的方法，其特征在于，所述方法还包括：

若在数据管理区的第二数据表中查找到所述任务执行标识信息，则确定所述任务执行标识信息对应的各DCN节点中任务执行状态为失败状态的DCN节点；

将所述第二数据表中任务执行状态为失败状态的DCN节点的任务执行状态修改为正在执行中，并执行在数据管理区的第三数据表中是否能够查找到所述任务执行标识信息的步骤。

7.根据权利要求4所述的方法，其特征在于，所述若确定DCN区中执行所述批量数据处理任务的节点都已经完成任务，则将所述批量数据处理任务的状态修改为任务执行成功，包括：

若确定DCN区中执行所述批量数据处理任务的任一个DCN节点已执行完成任务，则将所述第四数据表中该DCN节点的状态修改为已完成，并将所述第三数据表中的向所述任务执行标识信息对应的各DCN节点发送批量数据处理任务通知的数量进行递减；

若确定所述第三数据表中的向所述任务执行标识信息对应的各DCN节点发送批量数据处理任务通知的数量为零时，则确定DCN区中执行所述批量数据处理任务的DCN节点都已经完成任务。