[发明专利]一种大数据清洗系统及管理系统

说明书

本发明涉及数据清洗技术领域，特别涉及一种大数据清洗系统及管理系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口，所述的系统管理包括系统配置和界面设置，所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息，所述的元数据管理和主题管理连接远程管理接口，所述的公共代码管理连接公共代码管理器。本发明的有益效果是：大数据清洗系统及管理功能多样，清洗速度快。

技术领域

本发明涉及数据清洗技术领域，特别涉及一种大数据清洗系统及管理系统。

背景技术

大数据清洗单元装置是部门业务应用系统进入电力客户信息大数据平台的接入设备，也是电力客户信息挖掘的边界。大数据清洗单元装置与部门业务应用系统进行信息交换，使用安全管理模块(数字证书技术)保证信息的安全可靠，并采用基于XML的资源交换协议，通过中心交换前置机发送信息到信息接收端。

大数据清洗单元装置运行在各个业务部门，同时，把中心共享数据库，文件共享库等作为特殊的部门，在网络中心安装大数据清洗单元装置，供其它业务部门访问这些数据。

现有的大数据清洗系统及管理系统功能比较单一，清洗速度比较低。

发明内容

为了解决现有技术的问题，本发明提供了一种功能齐全、清洗速度高的大数据清洗系统及管理系统。

本发明所述技术方案如下：

一种大数据清洗系统，包括引擎模块、管理模块、组件运行管理器和接口模块，所述的引擎模块包括数据交换引擎、数据同步复制引擎、定时处理引擎和服务处理引擎，所述的管理模块包括系统管理、系统监控、服务管理、安全管理、元数据管理、主题管理和公共代码管理，所述的接口模块包括数据交换与访问接口、数据同步复制接口和业务处理接口。

所述的系统管理包括系统配置和界面设置。

所述的系统监控通过系统监控接口控制系统操作信息和系统线程信息。

所述的元数据管理和主题管理连接远程管理接口。

所述的公共代码管理连接公共代码管理器。

所述的数据交换引擎，负责数据交换工作，包括数据检索、数据更新(数据插入)和数据删除。

所述的定时处理引擎定义需要执行的操作，然后设置定时方式和时间间隔，最后由定时处理调度程序自动执行操作，减轻了系统管理人员的负担。

所述的安全管理用以管理元数据和主题安全管理。

所述的服务管理包括服务定义、服务注册、服务注销操作。

本发明一种大数据管理系统，包括控制模块、数据交换模块、数据库数据传输模块、数据发布订阅模块、自定义操作模块、定时操作模块、系统管理模块、系统工具模块和安全管理模块。

所述的数据交换模块包括数据检索、数据更新、数据删除和SQL数据交换。

所述的数据库数据传输模块包括数据库传输和数据库同步。

所述的数据发布订阅模块包括发布数据声明、订阅数据声明、发布数据和订阅数据。

所述的自定义操作模块包括自定义数据交换、自定义数据库传输、自定义SQL数据交换和自定义数据发布订阅。

所述的定时操作模块包括定时数据交换、定时数据库传输、定时SQL数据交换和定时数据发布订阅。

所述的系统管理模块包括系统配置、系统监控、日志管理和定时操作监控器。