[发明专利]一种数据处理方法、装置及计算机可读存储介质

权利要求书

1.一种数据处理方法，其特征在于，包括：

接收作业数据，并将所述作业数据提交至资源调度系统中的调度全局资源管理器；

基于所述资源调度系统启动开源集群计算框架中的计算应用程序管理器；

将所述资源调度系统中的调度应用程序管理器与所述计算应用程序管理器进行协议关联；

控制所述计算应用程序管理器通过协议关联后的调度应用程序管理器与所述调度全局资源管理器进行资源调度通信；

根据所述资源调度通信的调度结果启动所述计算应用程序管理器相应的计算执行器，并通过所述计算执行器实现对作业数据的迭代处理。

2.根据权利要求1所述的数据处理方法，其特征在于，所述控制所述计算应用程序管理器通过协议关联后的调度应用程序管理器与所述调度全局资源管理器进行资源调度通信的步骤，包括：

将所述计算应用程序管理器生成的资源请求指令发送至协议关联后的调度应用程序管理器；

控制所述协议关联后的调度应用程序管理器对所述资源请求指令进行协议转换，生成目标资源请求指令；

通过所述协议关联后的调度应用程序管理器将所述目标资源请求指令转发至调度全局资源管理器；

将所述调度全局资源管理器根据所述目标资源请求指令反馈的资源分配指令通过所述协议关联后的调度应用程序管理器转发至所述计算应用程序管理器，以确定相应的资源调度通信的调度结果。

3.根据权利要求2所述的数据处理方法，其特征在于，所述将所述调度全局资源管理器根据所述目标资源请求指令反馈的资源分配指令通过所述协议关联后的调度应用程序管理器转发至所述计算应用程序管理器的步骤，包括：

将所述调度全局资源管理器根据所述目标资源请求指令反馈的资源分配指令发送至所述协议关联后的调度应用程序管理器；

控制所述协议关联后的调度应用程序管理器对所述资源分配指令进行协议转换，生成目标资源分配指令；

通过所述协议关联后的调度应用程序管理器将所述目标资源分配指令转发至所述计算应用程序管理器。

4.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述接收作业数据，并将所述作业数据提交至资源调度系统中的调度全局资源管理器的步骤，包括：

通过资源调度系统中的前端组件接收作业数据；

触发所述资源调度系统中的服务组件，并通过所述服务组件将所述作业数据提交至所述资源调度系统中的调度全局资源管理器。

5.根据权利要求4所述的数据处理方法，其特征在于，所述基于所述资源调度系统启动开源集群计算框架中的计算应用程序管理器的步骤，包括：

基于所述服务组件调用开源集群计算框架中的计算客户端，使得所述计算客户端提交相应文件至分布式系统；

触发启动所述开源集群计算框架中的计算应用程序管理器。

6.根据权利要求5所述的数据处理方法，其特征在于，所述触发启动所述开源集群计算框架中的计算应用程序管理器的步骤，包括：

通过所述调度全局资源管理器选择第一目标节点资源任务管理器；

基于所述第一目标节点资源任务管理器启动所述资源调度系统中的调度应用程序管理器；

在所述调度应用程序管理器中启动开源集群计算框架中的计算应用程序管理器。

7.根据权利要求1至3任一项所述的数据处理方法，其特征在于，所述根据所述资源调度通信的调度结果启动所述计算应用程序管理器相应的计算执行器，并通过所述计算执行器实现对作业数据的迭代处理的步骤，包括：

基于所述计算应用程序管理器根据所述资源调度通信的调度结果生成资源执行指令；

将所述资源执行指令发送至协议关联后的调度应用程序管理器中进行协议转换，生成目标资源执行指令；

响应所述目标资源执行指令，并选择相应的第二目标节点资源任务管理器；

在所述第二目标节点资源任务管理器中启动所述计算应用程序管理器相应的计算执行器，并通过所述计算执行器实现对作业数据的迭代处理。