[发明专利]基于Flink的一站式任务开发、部署、运维平台系统、方法、装置、存储器及存储介质

说明书

本发明涉及一种基于Flink实现一站式任务开发、部署、运维功能的平台系统，其中，该系统包括权限管理控制模块，用于对任务开发人员进行任务权限控制；任务开发处理模块，用于进行项目创建生成开发任务；Flink集群处理模块，用于对注册数据源进行多流程数据处理；任务调试处理模块，用于对开发任务进行单步调试处理；任务发布处理模块，用于将开发任务发布至Flink集群；任务维护处理模块，用于运维人员执行开发任务的后台维护。本发明还涉及一种相应的方法、装置、处理器及其存储介质。采用了本发明的该系统、方法、装置、处理器及其存储介质，在运维页面对从发布到生产的任务进行运维，运维页面按照项目、任务的层级进行展示，清晰有条理，具有较佳的应用效果。

技术领域

本发明涉及数据处理技术领域，尤其涉及进行任务开发的数据处理技术领域，具体是指一种基于Flink实现一站式任务开发、部署、运维功能的平台系统、方法、装置、存储器及其计算机存储介质。

背景技术

Flink是业内通用的流计算引擎，但是用于生产环境时，它有诸多不足。

首先，flink任务的开发极为繁琐，需要先在IDE里配置开发环境，然后使用scala、java、python或者SQL来开发调试、任务，开发的时候需要开发者各自进行的数据源注册、数据清洗、汇聚、数据计算及输出整个流程。这需要各个开发者取研究flink的各种API及后台原理。同时开发的代码也难以分项给他人直接复用，效率很低。

其次，大量开发完的flink任务提交到集群上之后，开发者难以将任务与具体开发项目对应起来，日常任务维护很麻烦。

并且由于flink本身几乎没有权限控制功能，任何接触到flink集群的用户均可以修改、启停其他人的任务，甚至可以直接关停、毁坏整个flink集群，潜在风险很大。

发明内容

本发明的目的是克服了上述现有技术的缺点，提供了一种流程化、统一化的基于Flink实现一站式任务开发、部署、运维功能的平台系统、方法、装置、存储器及其计算机存储介质。

为了实现上述目的，本发明的基于Flink实现一站式任务开发、部署、运维功能的平台系统、方法、装置、存储器及其计算机存储介质如下：

该基于Flink实现一站式任务开发、部署、运维功能的平台系统，其主要特点是，所述的系统包括：

权限管理控制模块，后台管理人员利用所述的权限管理控制模块对任务开发人员进行任务权限控制；

任务开发处理模块，与所述的权限管理控制模块相连接，用于任务开发人员进行项目创建，以生成当前的开发任务；

Flink集群处理模块，与所述的任务开发处理模块相连接，用于平台开发人员和运维人员对所述的开发任务的注册数据源进行多流程数据处理；

任务调试处理模块，与所述的Flink集群处理模块相连接，用于将当前处理后的所述的开发任务进行单步调试处理；

任务发布处理模块，与所述的任务调试处理模块相连接，用于将所述的开发任务发布至Flink集群以供所述的平台开发人员获取；以及

任务维护处理模块，与所述的任务发布处理模块相连接，用于所述的运维人员对当前所述的开发任务执行后台维护，并查看所述的开发任务的各类型相关信息。

较佳地，所述的权限管理控制模块具体包括：

权限控制单元，用于控制所述的平台系统的登录权限；以及

人员登录单元，与所述的权限控制单元相连接，用于所述的任务开发人员获得登录权限后，使用浏览器登录该平台系统。

较佳地，所述的任务开发处理模块具体进行以下操作：