[发明专利]一种Flink框架运行ETL的流程联合组件方法和装置

权利要求书

1.一种Flink框架运行ETL的流程联合组件方法，其特征在于，方法包括：

遍历ETL的有向无环图DAG，识别出一个或者多个Splitting属性的节点；其中，所述Splitting属性节点包括数据源节点、FLINK_MESSAGE_SHARED_NODE属性的节点与需要转化为Flink算子的节点中的一个或者多个；

按照ETL流程DAG有向无环图节点先后顺序，从数据源节点开始，以相邻的两个所述Splitting属性的节点作为依据，生成由相邻的两个所述Splitting属性的节点之间的一个或者多个ETL节点以及节点之间的连接线构成的ETL流程子集，在Flink算子中使用；构造所述两个相邻Splitting属性的节点之间所对应的flink API语句操作算子链；

Union联合组件将至少两个所述数据源节点数据进行联合，所述数据源节点在Flink框架的TaskManager节点分区或者分片并发读取；

当所述union联合组件的下游存在需要转化为Flink算子的节点时，所述union联合组件转换为Flink的union算子；当所述union联合组件的下游不存在需要转化为Flink算子的节点时，所述union联合组件不转换为Flink的union算子；对应构造各个数据联合的flinkAPI语句操作算子链；配置ETL union组件输出基准列，所述数据联合转换的逻辑由flink算子中运行的所述各个ETL流程子集处理；

配置ETL union组件输出基准列，定义其中一个数据源列信息为基准列信息，定义除开基准列以外的数据源列信息为非基准列信息，所述非基准列信息按照基准列信息进行匹配；所述非基准列数据在ETL流程中处理；

当union联合组件的下游子集存在所述需要转化为Flink算子的节点时，则所述union联合组件转化为Flink的union算子，设置所述union联合组件节点属性FLINK_UNION_NODE为true；

当union联合组件的下游子集不存在所述Flink算子的节点时，则所述union联合组件不转化为Flink的union算子，设置所述union联合组件节点属性FLINK_UNION_NODE为false。

2.根据权利要求1所述的Flink框架运行ETL的流程联合组件方法，其特征在于，所述union联合组件节点属性FLINK_UNION_NODE设置为true时，所述union联合组件上游的Splitting属性的节点后续直至所述union联合组件构成ETL流程子集，所述ETL流程子集封装在上一个ETL流程子集中的Splitting属性的节点对应的算子的后续的flink的transform算子或者flatMap算子的ProcessFunction中运行，所述transform算子或者flatMap算子的输出作为Flink union算子的输入；union算子的输出作为union节点后续算子的输入。

3.根据权利要求1所述的Flink框架运行ETL的流程联合组件方法，其特征在于，所述union联合组件节点属性FLINK_UNION_NODE设置为false时,所述union联合组件上游的Splitting属性的节点后续所有组件构成的组件构成ETL流程子集，所述ETL流程子集封装在上一个ETL流程子集中的Splitting属性的节点对应的算子的后续的flink的transform算子或者flatMap算子的ProcessFunction中运行，所述ProcessFunction中运行的ETL流程子集中的union节点只有一个输入。

4.根据权利要求1所述的Flink框架运行ETL的流程联合组件方法，其特征在于，合并运行于Flink算子的子任务Function内的子流程的统计信息，获取ETL流程中所有组件的统计信息。