[发明专利]一种数据监控系统

说明书

本发明涉及电子数据管理领域，具体涉及一种数据监控系统，包括：Hadoop集群监控模块、仓库监控模块、ETL运行监控模块及数据可视化模块；所述Hadoop集群监控模块包括用于监控系统运行的基本信息、运行状况、集群异常及节点详情；所述仓库监控模块监控用于监控仓库的运行状态或库存情况；所述ETL运行监控模块用于监控ETL运行信息，并通过图表展示，所述ETL运行信息主要从ETL工具提供的接口获取；所述数据可视化模块用于显示所述Hadoop集群监控模块、仓库监控模块及ETL运行监控模块的监控数据。本申请通过对数据或信息的监控，帮助用户实时、准确地掌握数据中心的各项指标，并对异常信息进行及时预警和处理。

技术领域

本发明涉及电子数据管理领域，具体而言，涉及一种数据监控系统。

背景技术

大数据(big data)，或称巨量资料，指的是所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯；随着科技的发展，现代设备为人们的日常生活提供了极大便利，但越高科技的产品越需要大量数据的支撑，因此数据的收集、处理及管理边尤为重要，而在数据管理的过程中可能会出现数据异常的情况，这就需要能够对大量数据进行监控的系统，而大量的数据在监控过程中容易出现数据异常。

因此，有必要研发对数据异常进行监控的数据监控系统，高效的数据异常监控能够及时对异常数据进行处理，很大程度上为实际的工作减负。

发明内容

本发明实施例提供了一种数据监控系统，能够及时的掌握系统的各项数据指标，并对异常信息进行及时预警和处理。

根据本发明的一实施例，提供了一种数据监控系统，包括：Hadoop集群监控模块、仓库监控模块、ETL运行监控模块及数据可视化模块；

Hadoop集群监控模块包括用于监控系统运行的基本信息、运行状况、集群异常及节点详情；

仓库监控模块监控用于监控仓库的运行状态或库存情况；

ETL运行监控模块用于监控ETL运行信息，并通过图表展示，ETL运行信息主要从ETL工具提供的接口获取；

数据可视化模块用于显示Hadoop集群监控模块、仓库监控模块及ETL运行监控模块的监控数据。

进一步地，系统还包括ODS集群监控模块，ODS集群监控模块用于监控ODS集群基本信息、异常信息和数据库状态。

进一步地，系统还包括：

主页浏览模块，用于浏览Hadoop集群监控模块、仓库监控模块、ETL运行监控模块及数据可视化模块。

进一步地，系统还包括：

系统管理模块，用于确定对登陆用户的权限管理和用户管理。

进一步地，系统还包括：

第一判断模块，用于对Hadoop集群监控模块、仓库监控模块、ETL运行监控模块及数据可视化模块的数据是否异常进行判断。

进一步地，系统还包括：

异常通知模块，用于基于第一判断模块的判断结果发出通知；

异常处理模块，用于根据异常通知模块的发出的通知进行对异常数据进行处理。

进一步地，系统还包括：

日志管理模块，用于对Hadoop集群监控模块、仓库监控模块、ETL运行监控模块的历史数据进行记录并生成历史数据日志，以便查看。

进一步地，系统包括：

第二判断模块，用于根据历史数据判断数据是否异常。