[发明专利]数据处理方法和数据处理系统

权利要求书

1.一种数据处理系统，其特征在于，所述数据处理系统包括管理节点和运行第一作业的计算节点集合，所述计算节点集合包括主计算节点和第一计算节点；

所述管理节点，用于根据所述数据处理系统中的空闲计算节点数量和/或等待状态的作业数量确定集群资源状态为紧张状态，所述等待状态的作业数量大于或等于第一阈值和/或所述空闲计算节点数量小于第二阈值；

所述管理节点，还用于根据所述集群资源状态确定降低所述第一作业的并行度的删减策略，并向所述主计算节点发送所述删减策略，所述删减策略用于指示所述第一计算节点停止运行所述第一作业，所述第一作业的并行度为运行所述第一作业的计算节点集合中计算节点的数量；

所述主计算节点，用于接收所述删减策略，并根据所述删减策略向所述第一计算节点发送删减指令；还用于根据所述删减策略将所述第一作业的原拓扑结构更新为新拓扑结构，并根据所述新拓扑结构继续运行所述第一作业；所述第一作业的原拓扑结构用于指示所述计算节点集合中所有计算节点的逻辑连接关系，所述第一作业的新拓扑结构用于指示更新后的所述计算节点集合中所有计算节点的逻辑连接关系；

所述第一计算节点，用于接收所述删减指令，并根据所述删减指令，停止运行所述第一作业。

2.根据权利要求1所述的系统，其特征在于，所述计算节点集合还包括未被删减的第二计算节点；

所述第二计算节点，用于接收所述主计算节点发送的所述新拓扑结构，并根据所述新拓扑结构继续运行所述第一作业。

3.根据权利要求1或2所述的系统，其特征在于，所述管理节点还用于，

获取所述第一作业的评价模型，所述评价模型用于表示所述第一作业的并行度与运行所述第一作业的计算节点的存储资源利用率的对应关系，以及，所述第一作业的并行度与所述第一作业的吞吐量的对应关系；

所述管理节点还用于，根据所述评价模型确定所述第一作业的可用并行度范围，所述可用并行度范围的最小值根据所述计算节点的存储资源利用率确定，所述可用并行度范围的最大值根据所述第一作业的吞吐量的峰值确定，所述第一作业降低并行度后的新第一并行度属于所述可用并行度范围。

4.根据权利要求1至3中任一项所述的系统，其特征在于，所述删减指令携带时间戳；

所述第一计算节点，具体用于根据，在所述时间戳指示的时刻之后，停止运行所述第一作业。

5.一种数据处理系统，其特征在于，所述数据处理系统包括管理节点和运行第一作业的计算节点集合，所述计算节点集合包括主计算节点和第一计算节点，

所述管理节点，用于根据所述数据处理系统中的空闲计算节点数量和/或等待状态的作业数量确定集群资源状态为紧张状态，所述等待状态的作业数量大于或等于第一阈值和/或所述空闲计算节点数量小于第二阈值；

所述管理节点，还用于根据所述集群资源状态确定降低所述第一作业的并行度的删减策略，并向所述主计算节点发送所述删减策略，所述删减策略用于指示所述主计算节点停止运行所述第一作业，所述第一作业的并行度为运行所述第一作业的计算节点集合中计算节点的数量；

所述主计算节点，用于接收所述删减策略，并根据所述删减策略停止运行所述第一作业；还用于根据所述删减策略将所述第一作业的原拓扑结构更新为新拓扑结构，并将所述新拓扑结构发送给所述第一计算节点；所述第一作业的原拓扑结构用于指示所述计算节点集合中所有计算节点的逻辑连接关系，所述第一作业的新拓扑结构用于指示更新后的所述计算节点集合中所有计算节点的逻辑连接关系；

所述第一计算节点，用于接收所述新拓扑结构，并根据所述新拓扑结构继续运行所述第一作业。

6.根据权利要求5所述的系统，其特征在于，所述删减策略还用于指示第二计算节点停止运行所述第一作业，所述第二计算节点为所述计算节点集合中的节点；

所述主计算节点还用于，根据所述删减策略向所述第二计算节点发送删减指令；

所述第二计算节点，用于接收所述主计算节点发送的删减指令，并根据所述删减指令，停止运行所述第一作业。