[发明专利]一种数据处理方法、装置及计算机可读存储介质

说明书

本发明实施例公开了一种数据处理方法、装置及计算机可读存储介质，本发明实施例通过接收作业数据，并将作业数据提交至资源调度系统中的调度全局资源管理器；基于资源调度系统启动开源集群计算框架中的计算应用程序管理器；将资源调度系统中的调度应用程序管理器与计算应用程序管理器进行协议关联；控制计算应用程序管理器通过协议关联后的调度应用程序管理器与调度全局资源管理器进行资源调度通信；根据资源调度通信的调度结果启动计算应用程序管理器相应的计算执行器，并通过计算执行器实现对作业数据的迭代处理，以此，将自研发的资源调度系统与开源集群计算框架通过协议关联进行配合使用，极大的提升了数据处理处理效率。

技术领域

本发明涉及数据处理技术领域，具体涉及一种数据处理方法、装置及计算机可读存储介质。

背景技术

随着网络的发展和计算机的广泛应用，数据处理技术显得越来越重要，但是对于海量的用户数据，其管理难度和复杂度成倍增加，而开源集群计算框架(Spark)作为一个快速实用的开源集群计算框架，在海量的用户数据处理领域有着广泛的应用。

现有技术中，Spark设计为可以高效地在一个计算节点到数千个计算节点之间伸缩计算，为了实现这样的要求，同时尽可能的获取较大的灵活性，Spark可以支持各种集群管理器(Cluster Manager)上运行，比如通用资源管理系统(Yet Another ResourceNegotiator，YARN)和开源分布式资源管理框架(Mesos)等等，可以构建大型的、低延迟的数据分析应用程序。

在对现有技术的研究和实践过程中，本发明的发明人发现，现有技术中，虽然Spark可以支持多种集群管理器，但是Spark与供应商自研发的资源调度系统无法兼容使用，导致自研发的资源调度系统的数据处理效率较差。

发明内容

本发明实施例提供一种数据处理方法、装置及计算机可读存储介质，可以提升数据处理效率。

为解决上述技术问题，本发明实施例提供以下技术方案：

一种数据处理方法，包括：

接收作业数据，并将所述作业数据提交至资源调度系统中的调度全局资源管理器；

基于所述资源调度系统启动开源集群计算框架中的计算应用程序管理器；

将所述资源调度系统中的调度应用程序管理器与所述计算应用程序管理器进行协议关联；

控制所述计算应用程序管理器通过协议关联后的调度应用程序管理器与所述调度全局资源管理器进行资源调度通信；

根据所述资源调度通信的调度结果启动所述计算应用程序管理器相应的计算执行器，并通过所述计算执行器实现对作业数据的迭代处理。

相应的，本发明实施例还提供一种数据处理装置，包括：

接收单元，用于接收作业数据，并将所述作业数据提交至资源调度系统中的调度全局资源管理器；

启动单元，用于基于所述资源调度系统启动开源集群计算框架中的计算应用程序管理器；

关联单元，用于将所述资源调度系统中的调度应用程序管理器与所述计算应用程序管理器进行协议关联；

通信单元，用于控制所述计算应用程序管理器通过协议关联后的调度应用程序管理器与所述调度全局资源管理器进行资源调度通信；

处理单元，用于根据所述资源调度通信的调度结果启动所述计算应用程序管理器相应的计算执行器，并通过所述计算执行器实现对作业数据的迭代处理。

在一些实施例中，所述通信单元，包括：

发送子单元，用于将所述计算应用程序管理器生成的资源请求指令发送至协议关联后的调度应用程序管理器；