[发明专利]基于单集群的数据处理方法、装置、设备及存储介质

权利要求书

1.一种基于单集群的数据处理方法，其特征在于，所述方法包括：

获取至少两个数据处理任务，并基于各数据处理任务确定用于调度所述各数据处理任务的调度系统，其中，所述至少两个数据处理任务中包括至少两种任务类型的数据处理任务，一种任务类型的数据处理任务对应一个调度系统，一个调度系统关联目标集群中的一种集群资源，所述集群资源用于执行数据处理任务；

当接收到所述至少两个数据处理任务中的目标数据处理任务的处理请求时，基于所述处理请求确定所述目标数据处理任务的任务类型，并根据所述目标数据处理任务的任务类型确定用于调度所述目标数据处理任务的目标调度系统；

基于所述目标调度系统将所述目标数据处理任务调度至所述目标集群的目标集群资源中，以通过所述目标集群资源执行所述目标数据处理任务；

通过所述目标集群资源将执行所述目标数据处理任务得到的响应数据存储至目标数据库。

2.根据权利要求1所述的方法，其特征在于，所述获取至少两个数据处理任务之前，所述方法还包括：

从目标集群中确定出至少两种集群资源，并建立所述至少两种集群资源中各集群资源与至少两个调度系统的关联，其中，一种集群资源关联一个调度系统。

3.根据权利要求2所述的方法，其特征在于，所述建立所述至少两种集群资源中各集群资源与至少两种调度系统的关联包括：

基于至少两个调度系统中各调度系统的调度系统标识，将所述各调度系统的调度系统标识与所述目标集群中的各集群资源进行关联以建立各集群资源与各调度系统的关联；

其中，一个调度系统的调度系统标识与所述目标集群中的一种集群资源关联。

4.根据权利要求3所述的方法，其特征在于，所述处理请求中携带所述目标数据处理任务的目标任务标识；所述基于所述处理请求确定所述目标数据处理任务的任务类型包括：

基于所述处理请求中携带的所述目标任务标识确定所述目标数据处理任务的任务类型，其中，所述目标数据处理任务的任务类型包括调试、工作或者测试中的一种。

5.根据权利要求4所述的方法，其特征在于，所述基于所述目标调度系统将所述目标数据处理任务调度至所述目标集群的目标集群资源中，包括：

基于所述目标调度系统的调度系统标识确定所述目标集群中目标集群资源对应的资源参数；

将所述目标集群资源对应的资源参数配置到所述目标调度系统中，以基于所述目标调度系统将所述目标数据处理任务调度至所述目标集群的目标集群资源中。

6.根据权利要求5所述的方法，其特征在于，所述基于所述目标调度系统的调度系统标识确定所述目标集群中目标集群资源对应的资源参数，包括：

基于所述目标调度系统的调度系统标识确定所述目标调度系统关联的目标集群中的目标集群资源，并基于所述目标集群中的目标集群资源确定所述目标集群资源对应的资源参数；

其中，所述目标集群资源包括存储资源和/或计算资源。

7.一种数据处理装置，其特征在于，所述装置包括：

获取模块，用于获取至少两个数据处理任务，并基于各数据处理任务确定用于调度所述各数据处理任务的调度系统，其中，所述至少两个数据处理任务中包括至少两种任务类型的数据处理任务，一种任务类型的数据处理任务对应一个调度系统，一个调度系统关联目标集群中的一种集群资源，所述集群资源用于执行数据处理任务；

第一确定模块，用于当接收到所述至少两个数据处理任务中的目标数据处理任务的处理请求时，根据所述目标数据处理任务的任务类型确定用于调度所述目标数据处理任务的目标调度系统；

第一调度模块，用于基于所述目标调度系统将所述目标数据处理任务调度至所述目标集群的目标集群资源中，以通过所述目标集群资源执行所述目标数据处理任务；

第一存储模块，用于通过所述目标集群资源将执行所述目标数据处理任务得到的响应数据存储至目标数据库。