[发明专利]基于单集群的数据处理方法、装置、设备及存储介质

说明书

本申请公开了一种基于单集群的数据处理方法、装置、设备及存储介质，该方法包括：获取至少两个数据处理任务，并基于各数据处理任务确定用于调度各数据处理任务的调度系统，其中，所述至少两个数据处理任务中包括至少两种任务类型的数据处理任务，一种任务类型的数据处理任务对应一个调度系统。当接收到至少两个数据处理任务中的目标数据处理任务的处理请求时，根据目标数据处理任务的任务类型确定用于调度目标数据处理任务的目标调度系统。基于目标调度系统将目标数据处理任务调度至目标集群的目标集群资源中，以通过目标集群资源执行目标数据处理任务。采用本申请，可以降低大数据集群的开发与维护成本、操作简单、适用性高。

技术领域

本申请涉及计算机技术领域，尤其涉及一种基于单集群的数据处理方法、装置、设备及存储介质。

背景技术

随着数据库技术的发展和应用，数据库存储的数据量从兆字节过渡到现在的千兆兆字节，同时用户的查询需求也越来越复杂，而且要对多张表中千万条记录的数据进行数据分析和信息综合，即联机分析处理(Online Analytical Processing，OLAP)，它是数据仓库系统最主要的应用。而ETL(即Extract Transform Load)大数据任务，即数据抽取(Extract)、清洗(Cleaning)、转换(Transform)、装载(Load)则是构建数据仓库重要的一环。在将ETL大数据任务发布至大数据集群时，如果现有的ETL任务存在漏洞则会对线上数据造成很大影响。

本申请的发明人在研究和实践的过程中发现，在现有技术中为了不破坏ETL大数据任务中的原有数据，通常会准备一套与生产配置一样的预发集群，以在预发集群上进行相关的算法调试优化。但是在一般的调试优化算法时，企业只有一套大数据生产集群资源(包括计算资源以及存储资源)，而重新配置一套大数据集群资源的成本以及运维成本非常昂贵，且操作复杂。

发明内容

本申请实施例提供一种基于单集群的数据处理方法、装置、设备及存储介质，可以降低大数据集群的开发与维护成本、操作简单、适用性高。

本申请实施例第一方面提供了一种基于单集群的数据处理方法，包括：

获取至少两个数据处理任务，并基于各数据处理任务确定用于调度上述各数据处理任务的调度系统，其中，上述至少两个数据处理任务中包括至少两种任务类型的数据处理任务，一种任务类型的数据处理任务对应一个调度系统，一个调度系统关联目标集群中的一种集群资源，上述集群资源用于执行数据处理任务；

当接收到上述至少两个数据处理任务中的目标数据处理任务的处理请求时，基于所述处理请求确定所述目标数据处理任务的任务类型，并根据上述目标数据处理任务的任务类型确定用于调度上述目标数据处理任务的目标调度系统；

基于上述目标调度系统将上述目标数据处理任务调度至上述目标集群的目标集群资源中，以通过上述目标集群资源执行上述目标数据处理任务；

通过上述目标集群资源将执行上述目标数据处理任务得到的响应数据存储至目标数据库。

结合第一方面，在一种可能的实施方式中，上述获取至少两个数据处理任务之前，上述方法还包括：

从目标集群中确定出至少两种集群资源，并建立上述至少两种集群资源中各集群资源与至少两个调度系统的关联，其中，一种集群资源关联一个调度系统。

结合第一方面，在一种可能的实施方式中，上述建立上述至少两种集群资源中各集群资源与至少两种调度系统的关联包括：

基于至少两个调度系统中各调度系统的调度系统标识，将上述各调度系统的调度系统标识与上述目标集群中的各集群资源进行关联以建立各集群资源与各调度系统的关联；

其中，一个调度系统的调度系统标识与上述目标集群中的一种集群资源关联。