[发明专利]一种基于SCA的ETL架构管理方法

权利要求书

1.一种基于SCA的ETL架构管理方法，其特征在于，包括以下步骤：

步骤1、对元数据信息的访问，和存储元数据信息的存储介质进行交互；

步骤2、解决不同数据源之间的交互，提供多源支持，包括以下步骤：

步骤2.1、对数据格式良好的文本数据源直接导入到对应的表中；

步骤2.2、把基于文本的数据源和基于关系数据库的数据源都看成是统一的数据源DataStore，一个数据源DataStore包含一到多个数据模式Schema，每个数据模式Schema包含多个一到多个数据表Table，每个数据表Table包含一到多个数据列Column；

步骤2.3、当要在不同的数据源之间进行数据读写操作时，提供足够的信息给数据源DataStore，能够找到对应的DataContext、数据集合Schema、数据表Table的对应实现类，然后在程序级别则是Column接口的数据介入到Column接口中，最后写入到对应的物理存储介质上；

步骤3、处理各种各样的数据质量问题，对多源异构下的数据源进行清洗与转换操作，包括数据模式级别和数据实例级别；

步骤4、完成维度建模过程，把加载到数据仓库中的数据最终转化为用户感兴趣的服务。

2.如权利要求1所述的一种基于SCA的ETL架构管理方法，其特征在于，所述步骤1包括：

步骤1.1、读写元数据，包括对不同的元数据存储介质的访问；

步骤1.2、实现解析输入参数的功能，处理不同的业务逻辑所需要特定功能。

3.如权利要求1所述的一种基于SCA的ETL架构管理方法，其特征在于，所述步骤3包括：

步骤3.1、单源模式级的数据质量问题的处理，找到从源到目的的映射规则，做一些简单的转换；

步骤3.2、多源模式下，把数据从一个值转成另一个值，这里面包含了数据一个抽象对象和一个转换抽象动作，由此抽象出来三个接口，分别对应InputRow，InputColumn、Transformer，Transformer的对象是具体的列，所以需要两个接口来对应抽象的数据，而Transformer中定义了两个方法，一个是用来获取输出列的getOutputColumn，另一个是用来实现转换的transform方法，InputRow中包含多个InputColumn，InputColumn定义为泛型结构，因为不确定传入的数据到底是什么类型的，有可能是从数据源中导入进来的原始数据，也可能是经过了Transformer之后转换的数据类型。

4.如权利要求1所述的一种基于SCA的ETL架构管理方法，其特征在于，所述步骤4包括：

步骤4.1、生成满足需求的维度表，维度表分为三种：第一种是不发生变化的维度表，第二种是需要记录历史变化的维度表，第三种则是不记录历史变化的维度表；

步骤4.2、处理事实表查找代理键的问题，在SCA组件中，调用对应的数据库函数和存储过程，从SCA的装配模型的角度看，关系数据库是一个提供服务的外部应用，SCA组件只需按照数据库的规范来进行调用即可。