[发明专利]一种基于SCA的ETL架构管理方法

摘要

本发明提供了一种基于SCA的ETL架构管理方法。本发明针对企业数据仓库建设周期中ETL瓶颈的问题，设计和实现了一个基于SCA的ETL架构，该架构能够方便地复用已有的ETL工具、已有的组件功能，同时提高定制开发组件的复用性。本发明的特点为复用当前已有的满足ETL需求的组件和系统，提高开发的ETL组件的复用性和扩展性，基于SCA的粗粒度、平台无关、松耦合等优良特性，达到缩短ETL开发周期和降低复杂度的目的。

主权项

一种基于SCA的ETL架构管理方法，其特征在于，包括以下步骤：步骤1、对元数据信息的访问，和存储元数据信息的存储介质进行交互；步骤2、解决不同数据源之间的交互，提供多源支持，包括以下步骤：步骤2.1、对数据格式良好的文本数据源直接导入到对应的表中；步骤2.2、把基于文本的数据源和基于关系数据库的数据源都看成是统一的数据源DataStore，一个数据源DataStore包含一到多个数据模式Schema，每个数据模式Schema包含多个一到多个数据表Table，每个数据表Table包含一到多个数据列Column；步骤2.3、当要在不同的数据源之间进行数据读写操作时，提供足够的信息给数据源DataStore，能够找到对应的DataContext、数据集合Schema、数据表Table的对应实现类，然后在程序级别则是Column接口的数据介入到Column接口中，最后写入到对应的物理存储介质上；步骤3、处理各种各样的数据质量问题，对多源异构下的数据源进行清洗与转换操作，包括数据模式级别和数据实例级别；步骤4、完成维度建模过程，把加载到数据仓库中的数据最终转化为用户感兴趣的服务。