[发明专利]基于Flink的一站式任务开发、部署、运维平台系统、方法、装置、存储器及存储介质

权利要求书

1.一种基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的系统包括：

权限管理控制模块，后台管理人员利用所述的权限管理控制模块对任务开发人员进行任务权限控制；

任务开发处理模块，与所述的权限管理控制模块相连接，用于任务开发人员进行项目创建，以生成当前的开发任务；

Flink集群处理模块，与所述的任务开发处理模块相连接，用于平台开发人员和运维人员对所述的开发任务的注册数据源进行多流程数据处理；

任务调试处理模块，与所述的Flink集群处理模块相连接，用于将当前处理后的所述的开发任务进行单步调试处理；

任务发布处理模块，与所述的任务调试处理模块相连接，用于将所述的开发任务发布至Flink集群以供所述的平台开发人员获取；以及

任务维护处理模块，与所述的任务发布处理模块相连接，用于所述的运维人员对当前所述的开发任务执行后台维护，并查看所述的开发任务的各类型相关信息。

2.根据权利要求1所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的权限管理控制模块具体包括：

权限控制单元，用于控制所述的平台系统的登录权限；以及

人员登录单元，与所述的权限控制单元相连接，用于所述的任务开发人员获得登录权限后，使用浏览器登录该平台系统。

3.根据权利要求2所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的任务开发处理模块具体进行以下操作：

所述的任务开发人员登录所述的平台系统后在该系统中创建当前项目，并在该项目中创建所需的开发任务。

4.根据权利要求3所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的Flink集群处理模块具体包括：

数据清洗单元，用于抽取所述的注册数据源，并调用UDF对其进行数据清洗生成二维表数据源；

数据连接单元，用于所述的平台开发人员在SQL编辑器中编写SQL语句，将所述的二维表数据源连接起来；

数据计算单元，用于所述的平台开发人员对所述的二维表数据源实现数据计算逻辑处理；以及

数据输出单元，用于所述的平台开发人员在该平台系统中选择相应的数据源，通过编写insert语句实现具体写入逻辑，以输出该数据源对应的汇聚节点sink。

5.根据权利要求4所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的数据输出单元输出的汇聚节点sink满足elasticsearch、RDBMS、redis、clickhouse以及kafka平台系统中的一项或多项数据源节点要求。

6.根据权利要求5所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的注册数据源具体包括：

流数据源，所述的流数据源来源于kafka开源流处理平台；以及

批数据源，所述的批数据源来源于RDBMS数据库管理系统。

7.根据权利要求6所述的基于Flink实现一站式任务开发、部署、运维功能的平台系统，其特征在于，所述的数据连接单元中获取的数据源均为所述的流数据源的情形下，设置watermark以进行数据连接。