[发明专利]数据处理方法以及装置

说明书

本说明书实施例提供数据处理方法以及装置，其中所述数据处理方法应用于分布式系统的控制节点，包括：接收待处理任务请求；获取所述待处理任务请求对应的应用程序控制器；根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。轻量级的应用程序控制器在控制节点中运行，避免了启动耗时的问题，同样可以有效提高任务处理效率。

技术领域

本说明书实施例涉及计算机技术领域，特别涉及数据处理方法。

背景技术

实时分析数据仓库可以针对千亿级数据进行即时的多维分析透视，实现挖掘数据价值，实时分析数据仓库采用 MPP架构（Massively Parallel Processing，大规模并行处理架构），任务请求被均分到分布式集群的各个节点中，每个节点真实的运行情况并不一定与预期的一致，会出现各节点之间负载不均衡的问题，并且该问题随着分布式集群规模的增大而更加明显，从而进一步导致集群中资源利用率不高，任务处理的响应延迟增加等问题。

发明内容

有鉴于此，本说明书施例提供了数据处理方法。本说明书一个或者多个实施例同时涉及数据处理装置，数据处理系统，一种计算设备，一种计算机可读存储介质以及一种计算机程序，以解决现有技术中存在的技术缺陷。

根据本说明书实施例的第一方面，提供了一种数据处理方法，应用于分布式系统的控制节点，包括：

接收待处理任务请求；

获取所述待处理任务请求对应的应用程序控制器；

根据所述应用程序控制器向资源管理器发送针对所述待处理任务请求的资源获取请求；

通过所述资源管理器确定所述待处理任务请求对应的目标资源，并将所述目标资源的目标资源信息发送至所述应用程序控制器；

将所述待处理任务请求通过所述应用程序控制器发送至所述目标资源信息对应的目标执行节点，以使所述目标执行节点处理所述待处理任务请求。

可选的，获取所述待处理任务请求对应的应用程序控制器，包括：

在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器。

可选的，在应用程序控制管理器中获取与所述待处理任务请求对应的应用程序控制器，包括：

判断所述应用程序控制管理器中是否缓存有所述待处理任务请求对应的应用程序控制器；

若是，则获取所述应用程序控制器；

若否，则创建所述应用程序控制器。

可选的，通过所述资源管理器确定所述待处理任务请求对应的目标资源，包括：

通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息；

确定所述待处理任务请求对应的资源需求信息；

根据所述资源需求信息在各个执行节点的可用资源信息中确定目标资源。

可选的，通过所述资源管理器确定所述分布式系统中各个执行节点的可用资源信息，包括：

通过所述资源管理器接收所述分布式系统中各个执行节点发送的节点可用资源信息。

可选的，所述待处理任务请求包括用户标识；

确定所述待处理任务请求对应的资源需求信息，包括：

根据所述用户标识确定所述待处理任务请求对应的目标资源队列；