[发明专利]一种分布式ETL一体机系统

摘要

本发明公开了一种分布式ETL一体机系统，由分布式ETL一体机硬件系统、集群智勇管理引擎、ETL业务逻辑、ETL任务开发、数据引擎和数据存储、CS模式数据传输以及相关系统管理模块构成。该一种分布式ETL一体机系统与现有技术相比，可以并行高速抽取大数据量的离线数据和流数据，经过分布式ETL一体机的数据处理，输出至大数据系统，完成ETL处理过程，实用性强，适用范围广泛，具有很高的技术价值。

主权项

一种分布式ETL一体机系统，其特征在于，其具体实现过程为：设置分布式ETL一体机硬件系统，该硬件系统包括服务器集群，使用多台适合大数据传输和存储处理的服务器，构建高效能的ETL处理硬件平台；上述硬件系统的集群使用主‑从式结构，即整个集群包括一个主节点、若干从节点；设置集群智能管理引擎作为硬件层和ETL业务系统中间的接口，为ETL业务提供所有的支撑服务，该集群智能管理引擎还作为硬件集群的上层管理者，统一管理集群的内存、硬盘、网络硬件资源，同时负责节点扩展、双机热备、备用主节点选择、集群监控的功能；在主节点内设置分布式ETL管理中心，该分布式ETL管理中心由主节点执行ETL任务的协同、负载均衡，数据引擎管理，任务管理；并配合集群智能管理引擎完成相关数据的同步；设置ETL业务逻辑，即通过各节点接收分布式ETL管理中心分配的任务，协同完成任务的ETL业务处理，该业务处理包括数据抽取，数据清洗、转换，数据装载，数据回流，系统分析，质量管理ETL系统功能；设置ETL任务管理，提供图形化任务设计，即使用可视化的ETL任务设计，设计的元数据存储在任务元数据库中；设置数据引擎，管理各类数据源连接驱动；为ETL系统本身的各类元数据存储提供数据库统一存储接口；完成分布式数据存储统一管理；设置数据存储，提供业务数据存储、用户数据缓存功能，该数据存储使用分布式内存存储和高速硬盘存储；设置主从Client‑Server数据传输，在数据源端使用Client获得源数据，然后连接分布式ETL系统的Server端口，完成数据汇聚收集；设置配置管理模块，即提供可交互的WEB UI界面，对集群进行统一配置管理和用户管理；设置日志模块，该日志模块将集群生成的各类日志，汇入日志模块进行统一管理，并提供日志的统计分析。