[发明专利]一种异构数据交换与清洗系统及方法

摘要

本发明公开了一种异构数据交换与清洗系统及方法，系统包括：ETL系统，ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层。本发明的有益效果是：采用集群化的方式，有效提升效率，实现了传统关系数据库与非结构化数据的统一接入，数据交换作业的可视化配置，无需开发人员开发代码，并且与大数据技术相结合，进行数据建仓并提供数据分析功能。

主权项

一种异构数据交换与清洗系统，其特征在于，包括：ETL系统，所述ETL系统由下向上依次包括：数据源层、数据采集层、数据处理层、数据存储层、数据分析应用层和展示层；所述数据源层用于提供连接关系型数据库、文件型数据库和本地数据库的地址信息；所述数据采集层包括数据收集端和数据拉取端，所述数据收集端用于以全量或增量的方式根据所述数据源层提供的地址信息从所述关系型数据库获取结构化数据文件，从所述文件型数据库获取非结构化数据文件，所述数据拉取端用于向所述数据收集端发送请求以拉取所述结构化数据文件和所述非结构化数据文件；所述数据处理层用于将所述结构化数据文件和所述非结构化数据文件中的待共享数据推送到数据共享平台，对所述非结构化数据文件中的数据进行数据处理和归档存储，通过ETL集群对所述结构化数据文件和所述本地数据库中的数据进行数据清洗和存储；所述数据存储层包括根据所述结构化数据文件创建的多个数据仓库、由所述数据仓库划拨得到多个数据集市和元数据规则引擎；所述数据分析应用层包括OLAP引擎，用于面向数据仓库进行查询分析；所述展示层用于展示所述OLAP引擎和所述ETL集群的操作界面，以及所述数据采集层进行数据采集的展示界面。