[发明专利]一种企业数据集成云控制台、实现方法及系统

说明书

本发明公开了一种企业数据集成云控制台、实现方法及系统，包括云控制台、服务器集群，其中云控制台采用上述云控制台结构，服务器集群则由主服务器、若干从服务器组成，服务器集群中的每台服务器均安装开源工具Kettle，云控制台通过主服务器控制所有作业任务均分到从服务器中，并在所有服务器完成作业任务后，在主服务器中显示相关服务器的运行信息。本发明的一种企业数据集成云控制台、实现方法及系统与现有技术相比，克服了单台服务器的处理瓶颈，并对服务器运行情况进行实时监控，提前发现并解决问题，此外大大降低运维开发人员的学习成本，能够快速有效的完成数据抽取清洗以及存储工作，提供整体数据的准确性，为大数据分析提供便利。

技术领域

本发明涉及服务器集群技术领域，具体地说是一种企业数据集成云控制台、实现方法及系统。

背景技术

就企业信息化而言，信息系统建设通常具有阶段性和分布性的特点，这就导致“信息孤岛”现象的存在。“信息孤岛”是指不同软件间，尤其是不同部门间的数据信息不能共享，造成系统中存在大量冗余数据、垃圾数据，无法保证数据的一致性，严重地阻碍了企业信息化建设的整体进程。为解决这一问题，人们开始关注企业数据集成研究。尝试着对不同系统中的数据进行再加工，从而形成一个集成的，面向分析处理的环境，以便能够从这些海量的信息中挖掘规律，提取知识，辅助决策。Kettle的出现无疑可以提供对应的帮助，但是相对于海量数据单台服务器存在处理瓶颈，此外界面的极度不友好以及无法远程控制，导致运维开发人员的学习成本增高，降低了数据的准确性,增加了整体IT成本。

基于此，本发明提供一种企业数据集成云控制台、实现方法及系统。本发明提出的云控制台技术可以将服务器集群在远程控制台动态扩展管理，作业在服务器集群进行水平扩展，克服了单台服务器的处理瓶颈，并对服务器运行情况进行实时监控，提前发现并解决问题，此外大大降低运维开发人员的学习成本，能够快速有效的完成数据抽取清洗以及存储工作，提供整体数据的准确性，为大数据分析提供便利。

发明内容

本发明的技术任务是针对以上不足之处，提供一种企业数据集成云控制台、实现方法及系统。

一种企业数据集成云控制台，其结构包括以下五个模块：作业扩展、作业展现、作业启停、作业监控、作业统计，用于实现远程控制服务器集群，完成作业任务，其中，

作业扩展模块，用于动态扩展配置服务器集群，将一个作业指定到不同的服务器协同完成；

作业展现模块，用于展现目前服务器运行的所有作业信息，包括作业描述创建时间、作业流程图以及作业执行日志信息；

作业启停模块，用于远程控制作业任务的启停；

作业监控模块，实时获取作业任务的日志并展现；

作业统计模块，统计整个作业任务完成情况。

所述云控制台实时监控完成作业任务的服务器，该监控的信息包括网络状态、CPU使用率、进程数及磁盘空间信息，并通过包括短信、邮件的方式进行预警通知。

作业启停模块远程控制作业任务启停时，实时准确获取承载采集工作的服务器中数据采集、清洗、存储的相关信息。

一种企业数据集成云控制台实现方法，基于云控制台、服务器集群，其实现过程为：

云控制台在服务器集群中组建数据采集专用集群，该数据采集专用集群包括主服务器、若干从服务器；

为每台数据采集专用集群的服务器安装开源工具Kettle，并依次启动所有服务器；

云控制台通过主服务器控制所有作业任务均分到从服务器中，并在所有服务器完成作业任务后，在主服务器中显示相关服务器的运行信息。