[发明专利]一种Flink框架运行ETL的流程方法和装置

说明书

本发明专利提供一种Flink框架运行ETL的流程方法和装置。操作算子可以直接使用Flink的Connector，比如kafka connector，或者实现自定义的SourceFunction、ProcessFunction运行部分ETL组件构成的DAG图。只要是ETL内置支持的数据处理，可以直接发布到Flink框架执行，不再需要手工编写flink算子代码，避免了代码冗余、维护繁杂以及数据处理的不稳定性；通过设置算子的并行度，可以极大提高ETL流程并发处理能力；通过Flink流式处理的有状态计算、故障恢复、容错能力，可以保障ETL流程运行的稳定可靠性。

【技术领域】

本发明涉及数据处理技术领域，特别是涉及一种Flink框架运行ETL的流程方法和装置。

【背景技术】

ETL是数据处理、构建数据仓库的一个重要工具软件，它完成异构数据源的抽取、清洗转换，然后加载的一个过程。传统的ETL一般是把流程发布到一个集中的ETL服务器节点上运行，所有的流程或流程内组件的运行采用多线程机制，再多的流程也只能在一个单一节点运行，并且一个大数据的处理流程，也无法提高数据处理的性能。

Flink大数据平台在大数据处理中已经取得相当广泛的应用,是一个分布式处理引擎框架，用于对无界和有界数据流进行有状态计算，具备极高的故障恢复性能和容错性能。

如果ETL流程能够提交到Flink框架运行，可以极大提高流程并发执行能力，并且可以充分利用流式处理的有状态计算来提高流程运行稳定可靠性。

由于Flink提交任务需要构建一个Source Stream-transform Stream-StreamSink的操作，因此，现有技术中若要将ETL流程直接在Flink的Source Stream-transformStream-Stream Sink的操作中实现，必定会涉及重新实现数据处理逻辑代码，需要破坏ETL流程的完整性。

Flink与Kafka具有天然紧密联系，Flink内置了比较完善的Kafka读取与装载，并且利用有状态计算，能做到故障恢复的exactly-once。但是绝大部分ETL组件实现在Flink框架并没有提供支撑。比如关系数据库的表装载，需要支持插入更新、数据库连接connection重试、装载过程中出现报错数据的错误输出处理等等处理过程，在ETL的表装载已经有很完善、高效率、很稳定的实现，如果把这部分实现代码重写到flink算子的ProcessFunction或Sink Function，一定会造成系统的代码冗余、维护繁杂、不稳定性。我们可以把某些组件的集合构造一个DAG图，放在flink的ProcessFunction中运行，不用在ProcessFunction重写数据处理的代码。ETL流程中的组件可以分为两类，一类是直接使用Flink提供的算子实现，另一类就是完全使用ETL的处理实现。不能把ETL组件与flink算子一一对应来进行ETL组件的数据处理。

鉴于此，克服该现有技术所存在的缺陷是本技术领域亟待解决的问题。

【发明内容】

本发明要解决的技术问题是提供一种Flink框架运行ETL的流程方法。

本发明进一步要解决的技术问题是提供一种Flink框架运行ETL的流程分解装置。

本发明采用如下技术方案：

第一方面，一种Flink框架运行ETL的流程分解方法和装置，流程分解方法包括：

将ETL组件分解，并构造ETL组件分解后的有向无环图FlinkFuncDAG；

ETL组件分解后的子流程在flink算子的SourceFunction与ProcessFunction中运行；Flink的SourceFunction多任务并发读取数据源数据；Flink的ProcessFunction多任务并发处理数据。