[发明专利]大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法

权利要求书

1.一种大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的方法包括以下步骤：

(1)加载控制文件，进行数据文件类型切分；

(2)按照预设的批次量加载数据文件，遍历数据行，逐条进行处理；

(3)进行数据解析；

(4)进行字段类型校验；

(5)选择控制文件并运行数据；

(6)输出数据，并存储到多种存储系统中。

2.根据权利要求1所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(3)具体包括以下步骤：

(3.1)进行基本类型解析；

(3.2)进行表达式解析；

(3.3)进行用户自定义函数类型解析。

3.根据权利要求2所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(3.1)中的基本类型解析具体包括以下步骤：

进行赋值操作。

4.根据权利要求2所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(3.2)中的表达式解析具体包括以下步骤：

进行两个基本类型变量之间的运算或基本类型变量和基本类型常量之间的运算。

5.根据权利要求2所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(3.3)中的用户自定义函数类型解析具体包括以下步骤：

(3.3.1)判断外层是否为函数，如果是，则继续步骤(3.3.2)；否则，继续步骤(3.3.3)；

(3.3.2)判断参数是否为函数形参，如果是，则继续步骤(3.3.1)；否则，继续步骤(3.3.3)；

(3.3.3)判断参数是否为常量型形参，如果是，则直接赋值给字段；否则，在数据中取值，再赋值给字段；

(3.3.4)判断内层函数中参数是否有函数类型形参，如果是，则继续步骤(3.3.1)；否则，计算内层函数的返回值，外层函数的形参即为计算后的值，进行后续计算。

6.根据权利要求1所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(4)具体包括以下步骤：

(4.1)判断字段的属性，如果是取值，则继续步骤(4.2)；如果是函数，继续步骤(4.3)；

(4.2)校验字段值与定义的字段类型的匹配性；

(4.3)校验函数的返回值与定义的字段类型的匹配性，并校验函数的形参与实参类型的匹配性。

7.根据权利要求1所述的大数据场景下基于XML描述实现利用可编程函数式进行ETL转换处理的方法，其特征在于，所述的步骤(5)具体包括以下步骤：

(5.1)按照单个批次处理数据文件；

(5.2)通过配置方式选择控制文件并运行数据。