[发明专利]数据处理方法、装置、电子设备及存储介质

权利要求书

1.一种数据处理方法，其特征在于，所述方法包括：

接收待处理作业数据，并将所述待处理作业数据提交至集群资源管理器；

通过所述集群资源管理器，根据所述待处理作业数据触发相应的组件，将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动所述计算引擎的作业管理器；

基于数据仓工具驱动器组件所提交的资源数量，将所述待处理作业数据对应的资源申请请求向自研资源调度系统的作业管理器发送；

在所述自研资源调度系统的作业管理器接收待处理作业数据后，开启所述自研资源调度系统对应的开源集群计算框架；

通过所述自研资源调度系统的作业管理器，对所接收的资源申请请求进行转换，将计算引擎的Spark AM组件和Spark Executor组件从对应的集群架构中解耦，达到所述资源申请请求与所述自研资源调度系统相匹配；

通过所述自研资源调度系统的节点管理器响应于所述资源申请请求，触发所述自研资源调度系统的实例执行组件；

通过所述自研资源调度系统的实例执行组件启动所述计算引擎的实例执行组件；

通过所述计算引擎的实例执行组件向所述计算引擎的作业管理器注册并申请相应的计算任务，以实现通过所述任务执行组件对所述待处理作业数据进行处理。

2.根据权利要求1所述的方法，其特征在于，所述接收待处理作业数据，并将所述待处理作业数据提交至集群资源管理器，包括：

通过自研资源调度系统的不同服务集群前端接收待处理作业数据；

触发所述不同服务集群中的系统接入组件，并通过所述不同服务集群中的系统接入组件将所述待处理作业数据提交至与所述不同服务集群相匹配的集群资源管理器。

3.根据权利要求1所述的方法，其特征在于，所述通过所述集群资源管理器，根据所述待处理作业数据触发相应的组件，将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动所述计算引擎的作业管理器，包括：

通过所述集群资源管理器根据所述待处理作业数据触发不同服务集群中的一个节点管理器；

通过所触发的节点管理器，启动所述自研资源调度系统的作业管理器，并通过所述自研资源调度系统的作业管理器将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务；

通过所述自研资源调度系统的作业管理器启动所述计算引擎的作业管理器，以实现所述自研资源调度系统的作业管理器和所述计算引擎的作业管理器之间的数据交互。

4.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述自研资源调度系统的作业管理器确定与所述计算引擎相匹配的转换协议；

将经过转换的资源申请请求向所述自研资源调度系统的资源管理器发送，以实现所述资源申请请求与所述自研资源调度系统相匹配。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

通过所述自研资源调度系统的资源管理器将与所述待处理作业数据的资源分配结果向所述自研资源调度系统的作业管理器发送；

通过所述自研资源调度系统的作业管理器基于与所述计算引擎相匹配的转换协议，对所述待处理作业数据的资源分配结果进行转换；

通过所述自研资源调度系统的作业管理器将经过转换的所述待处理作业数据的资源分配结果向所述计算引擎的作业管理器发送。

6.根据权利要求1所述的方法，其特征在于，所述方法还包括：

通过所述自研资源调度系统的实例执行组件对所述计算引擎的实例执行组件所获取的资源数量进行监控；

当所述计算引擎的实例执行组件所获取的资源数量超过相应的资源数量阈值时，通过所述自研资源调度系统的实例执行组件关闭所述计算引擎的实例执行组件。