[发明专利]一种异构数据交换与清洗系统及方法

权利要求书

1.一种异构数据交换与清洗系统，其特征在于，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；

所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；

所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；

所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；

所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；

所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面；

对所述非结构化数据文件进行数据归档存储时，所述数据处理层具体用于：调用元数据规则引擎，获取所述非结构化数据文件中数据的元数据，进行元数据存储；

将进行数据清洗之后的所述结构化数据文件和所述本地数据库中的数据存入所述数据仓库时，所述数据处理层还用于调用元数据规则引擎，获取所述结构化数据文件和所述本地数据库中的数据的元数据，进行元数据存储。

2.根据权利要求1所述的一种异构数据交换与清洗系统，其特征在于，所述数据收集端还用于将获取到的所述结构化数据文件和所述非结构化数据文件写到ftp服务器的预定文件夹中。

3.根据权利要求2所述的一种异构数据交换与清洗系统，其特征在于，所述数据拉取端具体用于：通过shell脚本从所述ftp服务器定时获取所述结构化数据文件和所述非结构化数据文件，获取之后从所述ftp服务器中删除；

实时显示所述结构化数据文件的属性和数据源，以及所述非结构化数据文件的文件名称、数据源和文件类型，并进行预览；

将所述结构化数据文件中的数据发送至所述ETL集群，将所述非结构化数据文件中的数据通过flume存入Hadoop平台。

4.根据权利要求1所述的一种异构数据交换与清洗系统，其特征在于，对待存入自身的数据进行存储时，所述数据集市具体用于：调用元数据规则引擎，获取所述待存入自身的数据的元数据，进行元数据存储。

5.根据权利要求1-4任一项所述的一种异构数据交换与清洗系统，其特征在于，还包括：任务调度系统，连接所述数据拉取端和所述ETL集群，用于进行数据拉取任务调度和ETL作业调度。

6.根据权利要求1-4任一项所述的一种异构数据交换与清洗系统，其特征在于，所述OLAP引擎用于对待查询分析的数据进行钻取、上卷、切片、切块以及旋转处理。

7.一种异构数据交换与清洗方法，其特征在于，包括：

S1、数据收集端以全量或增量的方式根据数据源层提供的地址信息从关系型数据库获取结构化数据文件，从文件型数据库获取非结构化数据文件；

S2、数据拉取端向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；

S3、将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件中的数据和本地数据库中的数据进行数据清洗；

S4、根据所述结构化数据文件中的数据和所述本地数据库中的数据创建多个数据仓库，将所述结构化数据文件中的数据和所述本地数据库中的数据分别存入所述多个数据仓库；

还包括：

对所述非结构化数据文件进行数据归档存储时，调用元数据规则引擎，获取所述非结构化数据文件中数据的元数据，进行元数据存储；

将进行数据清洗之后的所述结构化数据文件和所述本地数据库中的数据存入所述数据仓库时，获取所述结构化数据文件和所述本地数据库中的数据的元数据，进行元数据存储。