[发明专利]一种Flink框架运行ETL的流程联合组件方法和装置

说明书

本发明涉及数据处理技术领域，本发明专利提供一种Flink框架运行ETL的流程联合组件方法和装置；ETL流程组件经过拆分重组，然后翻译转换成Flink的操作算子，在Flink操作算子方法中运行重组的ETL子流程，避免重复编写Flink算子中数据处理逻辑代码，避免重复实现数据联合的逻辑代码；union组件的多个数据源可在flink框架不同的TaskManager节点分区或分片并发读取，极大提高数据读取的效率；union组件以及union组件的后续组件集合运行在Flink操作算子的方法ProcessFunction中，避免了使用Flink的union算子，从而避免了不必要的数据序列化和反序列化、网络传输，极大提高数据联合的效率。

【技术领域】

本发明涉及技术领域，特别是涉及一种Flink框架运行ETL的流程联合组件方法和装置。

【背景技术】

ETL是数据处理、构建数据仓库的一个重要工具软件，它完成异构数据源的抽取、清洗转换，然后加载的一个过程。传统的ETL一般是把流程发布到一个集中的ETL服务器节点上运行，所有的流程或流程内组件的运行采用多线程机制，再多的流程也只能在一个单一节点运行，并且一个大数据的处理流程，也无法提高数据处理的性能。

Flink大数据平台在大数据处理中已经取得相当广泛的应用,是一个分布式处理引擎框架，用于对无界和有界数据流进行有状态计算，具备极高的故障恢复性能和容错性能。

如果ETL流程能够提交到Flink框架运行，可以极大提高流程并发执行能力，并且可以充分利用流式处理的有状态计算来提高流程运行稳定可靠性。

由于Flink提交任务需要构建一个Source Stream-transform Stream-StreamSink的操作，因此，现有技术中若要将ETL流程直接在Flink的Source Stream-transformStream-Stream Sink的操作中实现，必定会涉及重新实现数据处理逻辑代码，需要破坏ETL流程的完整性。

ETL union联合组件把多个数据源数据进行联合，然后发送到下游组件。ETL联合组件可以直接翻译转换为Flink的Union算子进行上游的数据的联合。Flink联合算子虽然提供了数据联合很大的便利，但是性能效率上可能存在一定的影响。多个不同的数据源可能在不同的TaskManager进行读取的任务，根据union算子的并行度设置，union算子可能不在同一个TaskManager进行数据的联合，所以必然导致传送到union算子的子任务的数据要进行网络的传输，这些数据必定要经过数据的序列化和反序列化。所以基于Flink union算子的联合在一定场景会影响数据联合的效率。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是提供一种Flink框架运行ETL的流程联合组件方法。

本发明进一步要解决的技术问题是提供一种Flink框架运行ETL的流程联合组件装置。

本发明采用如下技术方案：

第一方面，一种Flink框架运行ETL的流程联合组件方法和装置，流程方法包括：

遍历ETL的有向无环图DAG，识别出一个或者多个Splitting属性的节点；其中，所述Splitting属性节点包括数据源节点、FLINK_MESSAGE_SHARED_NODE属性的节点与需要转化为Flink算子的节点中的一个或者多个；

按照ETL流程DAG有向无环图节点先后顺序，从数据源节点开始，以相邻的两个所述Splitting属性的节点作为依据，生成由相邻的两个所述Splitting属性的节点之间的一个或者多个ETL节点以及节点之间的连接线构成的ETL流程子集，在Flink算子中使用；构造所述两个相邻Splitting属性的节点之间所对应的flink API语句操作算子链；