[发明专利]一种数据处理方法、装置以及计算机可读存储介质

权利要求书

1.一种数据处理方法，所述方法应用于目标作业的作业管理进程，所述作业管理进程是由分布式计算集群中任一计算节点在获取到所述目标作业时创建的，所述分布式计算集群包含用于进行任务执行的多个计算节点和用于进行资源分配的资源管理节点，所述分布式计算集群中各个计算节点均具有用于进行任务管理的服务进程，所述各个计算节点的服务进程均配置有用于启动新任务的接口，其特征在于，所述方法包括：

对所述目标作业进行逻辑切片，得到所述目标作业包含的一个或多个映射类型子任务，并基于所述目标作业包含的映射类型子任务获取所述目标作业包含的一个或多个归约类型子任务；所述目标作业包含的映射类型子任务和归约类型子任务均属于所述目标作业的子任务；

向所述资源管理节点获取所述目标作业的计算资源，将所述目标作业的计算资源缓存在资源池中；

根据所述目标作业的计算资源确定所述资源池中的总计算资源；所述总计算资源包括映射计算资源和归约计算资源；

根据所述资源池的所述总计算资源中的资源未占用的映射计算资源，依次执行所述目标作业所包含的映射类型子任务；

根据所述资源池的所述总计算资源中的资源未占用的归约计算资源，依次执行所述目标作业所包含的归约类型子任务；

当检测到所述目标作业所包含的映射类型子任务和归约类型子任务均执行完成时，将所述资源池中的所述总计算资源归还给所述资源管理节点；

其中，所述资源池中计算资源对应的容器在所述各个计算节点中进行创建；所述作业管理进程用于基于为所述各个计算节点中服务进程配置的接口，调用所述各个计算节点中的服务进程在创建的资源未占用的计算资源对应的容器中执行所述目标作业的子任务；

若所述资源池中任一计算资源对应的容器未处于执行所述目标作业的任一子任务的过程中，则所述任一计算资源属于资源未占用的计算资源；所述服务进程用于根据所述作业管理进程的指示，使用被配置的接口调用资源未占用的同一计算资源对应的容器在不同时间执行所述目标作业不同的子任务；

以及，所述目标作业的任一个子任务表示为目标子任务，所述资源池基于所述目标作业的任一个子任务的执行状态进行自动缩容和扩容的方式，包括：

若在获取到所述目标子任务的任务执行请求时，在所述资源池中检测到用于执行所述目标子任务的计算资源，以及在获取到所述目标子任务的任务执行请求后的第一计时时长内未获取到其他子任务的任务执行请求，则所述资源池基于所述资源池中已有计算资源的资源量和所述资源池的资源容量阈值进行自适应缩容；

若在获取到所述目标子任务的任务执行请求后的第二计时时长内，未在所述资源池中检测到用于执行所述目标子任务的计算资源，则所述资源池基于所述已有计算资源的资源量和所述资源容量阈值进行自适应扩容；

在基于所述已有计算资源的资源量和所述资源容量阈值对所述资源池进行自适应扩容时，若所述已有计算资源的资源量等于所述资源容量阈值，则停止对所述资源池的扩容，并向客户端推送针对所述目标作业的任务拥堵提示信息。

2.根据权利要求1所述的方法，其特征在于，所述资源池包括映射类型资源池和归约类型资源池；所述映射类型资源池用于缓存所述总计算资源中的映射计算资源；所述归约类型资源池用于缓存所述总计算资源中的归约计算资源；

所述当检测到所述目标作业所包含的映射类型子任务和归约类型子任务均执行完成时，将所述资源池中的所述总计算资源归还给所述资源管理节点，包括：

当检测到所述目标作业所包含的映射类型子任务和归约类型子任务均执行完成时，将所述映射类型资源池中所缓存的映射计算资源归还给所述资源管理节点，将所述归约类型资源池中所缓存的归约计算资源归还给所述资源管理节点。