[发明专利]一种创建Flink作业的方法及装置

权利要求书

1.一种创建Flink作业的方法，其特征在于，所述方法包括：

从算子库中选择备用算子；所述备用算子用于所述Flink作业的编排；

按照所述算子规范、所述备用算子的输入类型和所述备用算子的输出类型对所述备用算子建立上下游连线关系，设置所述备用算子的配置参数值，生成算子拓扑图；

基于所述算子拓扑图，生成对应的有向无环图数据结构；

将所述有向无环图数据结构发送至后端模块，以使所述后端模块对所述有向无环图数据结构进行解析生成流式图，进而将所述流式图提交到Flink集群执行。

2.根据权利要求1所述的方法，其特征在于，在所述从算子库中选择备用算子之前，所述方法还包括：

获取算子规范，所述算子规范至少包括算子的输入类型、输出类型、输入数量、输出数量、配置参数、参数取值范围和参数受上下游影响因素；

按照所述算子规范创建算子；

将所述算子放置于算子库。

3.一种创建Flink作业的方法，其特征在于，所述方法包括：

接收前端模块发送的Flink作业对应的有向无环图数据结构；所述有向无环图数据结构是基于算子拓扑图得到的；所述算子拓扑图是通过在算子库中选择和所述Flink作业对应的备用算子，并根据算子规范、所述备用算子的输入类型和所述备用算子的输出类型对所述备用算子建立上下游连线关系，设置所述备用算子的配置参数值得到的；

将所述有向无环图数据结构中的算子放置未处理算子队列；

遍历所述未处理算子队列中的任一算子；

当正在遍历的当前算子符合预设条件时，对所述当前算子进行解析，获得所述当前算子的配置参数、算子上下游关系和算子逻辑；所述当前算子为所述未处理算子队列中的任一算子；

将解析完成的所述当前算子从所述未处理算子队列中取出，放置到已处理算子队列；

基于所述当前算子的配置参数、算子上下游关系和算子逻辑拼装流式图；

重新执行所述遍历所述未处理算子队列中的任一算子及后续步骤直至所述未处理算子队列中的算子均被解析；

将所述流式图提交到Flink集群执行。

4.根据权利要求3所述的方法，其特征在于，所述当正在遍历的当前算子符合预设条件时，对所述当前算子进行解析，获得所述当前算子的配置参数、算子上下游关系和算子逻辑，包括：

对正在遍历的当前算子进行算子资源调度；

判断基于所述算子资源调度能否获得所述当前算子的输入资源；

若能获得所述当前算子的输入资源，对所述当前算子进行解析，获得所述当前算子的配置参数、算子上下游关系和算子逻辑。

5.根据权利要求4所述的方法，其特征在于，所述方法还包括：

将所述当前算子的输出资源追加到对应的输出资源队列中。

6.一种创建Flink作业的装置，其特征在于，所述装置包括：

选择单元，用于从算子库中选择备用算子；所述备用算子用于所述Flink作业的编排；

第一生成单元，用于按照所述算子规范、所述备用算子的输入类型和所述备用算子的输出类型对所述备用算子建立上下游连线关系，设置所述备用算子的配置参数值，生成算子拓扑图；

第二生成单元，用于基于所述算子拓扑图，生成对应的有向无环图数据结构；

发送单元，用于将所述有向无环图数据结构发送至后端模块，以使所述后端模块对所述有向无环图数据结构进行解析生成流式图，进而将所述流式图提交到Flink集群执行。

7.根据权利要求6所述的装置，其特征在于，所述装置还包括：

获取单元，用于在所述从算子库中选择备用算子之前获取算子规范，所述算子规范至少包括算子的输入类型、输出类型、输入数量、输出数量、配置参数、参数取值范围和参数受上下游影响因素；

创建单元，用于按照所述算子规范创建算子；

放置单元，用于将所述算子放置于算子库。