[发明专利]一种创建Flink作业的方法及装置

说明书

本申请公开了一种创建Flink作业的方法及装置，该方法包括：从算子库中选择备用算子，备用算子用于Flink作业的编排。按照算子规范、备用算子的输入类型和备用算子的输出类型对备用算子建立上下游连线关系，设置备用算子的配置参数值，生成算子拓扑图。基于算子拓扑图，生成对应的有向无环图数据结构。将有向无环图数据结构发送至后端模块，以使后端模块对有向无环图数据结构进行解析生成流式图，进而将流式图提交到Flink集群执行。通过创建算子，利用不同的算子构成不同的可视化算子拓扑图，可以编排不同的Flink作业，开发效率高、可修改性、灵活性强。

技术领域

本申请涉及计算机技术领域，尤其涉及一种创建Flink作业的方法及装置。

背景技术

目前，通过结构化查询语言(Structured Query Language，SQL)开发Flink作业。但是当有新的Flink作业配置需求或者现有Flink作业配置方式变化时，需要对SQL语法定义进行调整，相应的SQL解析程序也要修改，可维护性差、灵活性差。

发明内容

为了解决上述技术问题，本申请提供了一种创建Flink作业的方法及装置，用于可视化编排Flink作业，灵活性强，可维护性强。

为了实现上述目的，本申请实施例提供的技术方案如下：

本申请实施例提供了一种创建Flink作业的方法，该方法包括：

从算子库中选择备用算子；所述备用算子用于所述Flink作业的编排；

按照所述算子规范、所述备用算子的输入类型和所述备用算子的输出类型对所述备用算子建立上下游连线关系，设置所述备用算子的配置参数值，生成算子拓扑图；

基于所述算子拓扑图，生成对应的有向无环图数据结构；

将所述有向无环图数据结构发送至后端模块，以使所述后端模块对所述有向无环图数据结构进行解析生成流式图，进而将所述流式图提交到Flink集群执行。

可选的，在所述从算子库中选择备用算子之前，所述方法还包括：

获取算子规范，所述算子规范至少包括算子的输入类型、输出类型、输入数量、输出数量、配置参数、参数取值范围和参数受上下游影响因素；

按照所述算子规范创建算子；

将所述算子放置于算子库。

本申请实施例还提供了一种创建Flink作业的方法，该方法包括：

接收前端模块发送的Flink作业对应的有向无环图数据结构；所述有向无环图数据结构是基于算子拓扑图得到的；所述算子拓扑图是通过在算子库中选择和所述Flink作业对应的备用算子，并根据算子规范、所述备用算子的输入类型和所述备用算子的输出类型对所述备用算子建立上下游连线关系，设置所述备用算子的配置参数值得到的；

将所述有向无环图数据结构中的算子放置未处理算子队列；

遍历所述未处理算子队列中的任一算子；

当正在遍历的当前算子符合预设条件时，对所述当前算子进行解析，获得所述当前算子的配置参数、算子上下游关系和算子逻辑；所述当前算子为所述未处理算子队列中的任一算子；

将解析完成的所述当前算子从所述未处理算子队列中取出，放置到已处理算子队列；

基于所述当前算子的配置参数、算子上下游关系和算子逻辑拼装流式图；

重新执行所述遍历所述未处理算子队列中的任一算子及后续步骤直至所述未处理算子队列中的算子均被解析；

将所述流式图提交到Flink集群执行。