[发明专利]数据处理方法、装置、电子设备及存储介质

说明书

本发明提供了一种数据处理方法，包括：将待处理作业数据提交至集群资源管理器；根据待处理作业数据触发相应的组件，将待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动计算引擎的作业管理器；将待处理作业数据对应的资源申请请求向自研资源调度系统的作业管理器发送，对所接收的资源申请请求进行转换基于经过转换的资源申请请求，触发相应的任务执行组件，并通过任务执行组件对待处理作业数据进行处理。本发明还提供了数据处理装置、电子设备及存储介质。本发明能够实现不同框架结构的计算引擎匹配相应的自研资源调度系统，提升自研发的资源系统的数据处理效率，提升用户的使用体验。

技术领域

本发明涉及数据处理技术，尤其涉及数据处理方法、装置、电子设备及存储介质。

背景技术

相关技术中，开源集群计算框架(Spark)作为一个快速实用的开源集群计算框架，在海量的用户数据处理领域有着广泛的应用，能够高效地在一个计算节点到数千个计算节点之间伸缩计算，这一过程中，源集群计算框架(Spark)为了尽可能的获取较大的灵活性，可以支持各种集群管理器(Cluster Manager)上运行，比如通用资源管理系统(YARN YetAnother Resource Negotiator)和开源分布式资源管理框架(Mesos)等等，可以构建大型的、低延迟的数据分析应用程序。

但是相关技术中，仅支持将Hive on Spark框架运行在开源的资源调度平台上，并没有通用的将Hive on Spark框架运行在自研资源调度平台上的方案，限制了Hive onSpark框架适配不同的使用环境， 导致自研发的资源调度系统的数据处理效率较差，影响了用户的使用体验。

发明内容

有鉴于此，本发明实施例提供一种数据处理方法、装置、电子设备及存储介质，能够实现不同框架结构的计算引擎适配不同的使用环境，提升自研发的资源系统的数据处理效率，提升用户的使用体验。

本发明实施例的技术方案是这样实现的：

本发明实施例提供了一种数据处理方法，所述方法包括：

接收待处理作业数据，并将所述待处理作业数据提交至集群资源管理器；

通过所述集群资源管理器，根据所述待处理作业数据触发相应的组件，将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动所述计算引擎的作业管理器；

基于数据仓工具驱动器组件所提交的资源数量，将所述待处理作业数据对应的资源申请请求向自研资源调度系统的作业管理器发送；

通过所述自研资源调度系统的作业管理器对所接收的资源申请请求进行转换，以实现所述资源申请请求与所述自研资源调度系统相匹配；

基于经过转换的所述资源申请请求，触发相应的任务执行组件，并通过所述任务执行组件对所述待处理作业数据进行处理。

本发明实施例还提供了一种数据处理装置，所述装置包括：

信息传输模块，用于接收待处理作业数据，并将所述待处理作业数据提交至集群资源管理器；

信息处理模块，用于通过所述集群资源管理器，根据所述待处理作业数据触发相应的组件，将所述待处理作业数据中的面向对象的查询语言指令转换为与相应的计算引擎相匹配的任务，并启动所述计算引擎的作业管理器；

所述信息处理模块，用于基于数据仓工具驱动器组件所提交的资源数量，将所述待处理作业数据对应的资源申请请求向自研资源调度系统的作业管理器发送；

所述信息处理模块，用于通过所述自研资源调度系统的作业管理器对所接收的资源申请请求进行转换，以实现所述资源申请请求与所述自研资源调度系统相匹配；