[发明专利]一种ETL流程在Spark集群中运行的方法和装置

权利要求书

1.一种ETL流程在Spark集群中运行的方法，其特征在于，用户已经通过ETL流程设计器设计迁移流程，配置每个ETL功能组件的特定属性，并保存到后台元数据库，方法包括：

从所述元数据库里获取被执行流程的元数据信息，包括ETL功能组件、组件属性信息、连接和连接属性信息；

在Spark应用程序里建立一个有向图结构SparkGraph对象，所述SparkGraph对象由多个SparkNode对象构成，并且，所述SparkNode对象之间由SparkEdge对象关联，具体的：

对应元数据库里每个ETL功能组件创建一个SparkNode对象，SparkNode对象的类型由ETL功能的组件属性信息中的组件类型信息确定；所述类型信息包括读取类型、转换类型和装载类型，其中，读取类型和转换类型组件的功能对应Spark集群API接口的一个Transformation操作集合，装载类型组件的功能对应Spark集群API接口的一个Action操作；

对各SparkNode对象之间的连接创建一SparkEdge对象，SparkEdge对象表示图的一个有向边，其中源节点和目的节点从元数据库的连接属性信息里获得，并在SparkGraph对象建立连接；

在SparkGraph对象中创建一个虚拟开始节点，虚拟开始节点指向每一个读取类型的SparkNode对象；创建一个虚拟结束节点，对于位于末端的SparkNode对象，设置其指向虚拟结束节点；

根据所述有向图结构SparkGraph对象运行时，具体包括：

虚拟开始节点作为有向图结构SparkGraph对象运行的入口，调用由SparkEdge对象关联起来的一条或者多条流程分支中的SparkNode对象，并且，在抵达流程分支的装载类型的SparkNode对象之前，仅加载各SparkNode对象中记录的生成规则，并在抵达流程分支的装载类型的SparkNode对象时，根据加载后的生成规则，集中完成源数据的提取、转换和装载动作。

2.根据权利要求1所述的ETL流程在Spark集群中运行的方法，其特征在于，所述集中完成源数据的提取、转换和装载动作，具体包括：

生成各SparkNode对象的实例，并将源数据作为虚拟开始节点后第一个SparkNode对象实例的输入参数；

在流程中SparkNode1对象实例的输出数据，根据SparkEdge1对象所记载的所述SparkNode1对象与SparkNode2对象的关联关系，将所述输出数据作为SparkNode2对象实例的输入数据；

根据所述SparkNode1对象和SparkEdge1对象的数据传输方式，完成有向图结构SparkGraph对象中其它SparkNodei对象中的数据处理过程；其中i为＝2的自然数。

3.根据权利要求1所述的ETL流程在Spark集群中运行的方法，其特征在于，所述在Spark应用程序里建立一个有向图结构SparkGraph对象，还包括：

对于SparkNodei对象，确认其输出端连接着的SparkEdge对象的数量N；

并根据所述SparkNodei对象的数量N，为所述SparkNodei对象设置N-1次内挂特性的persist()操作计数；

其中，所述内挂特性的persist()操作计数用于在所述SparkNodei对象所对应的任意一条由SparkEdge对象和SparkNode对象构成的流程处理抵达结束节点，触发缓存释放时，相应的内挂特性的persist()操作计数减一；

所述SparkNodei对象直到其内挂特性的persist()操作计数的N-1次计数用完，才进行SparkNodei对象的缓存释放。