[发明专利]数据实时监测系统及方法

说明书

本发明实施例提供的一种数据实时监测系统及方法，涉及数据处理技术领域。所述系统包括采集模块、实时缓存队列模块、实时分布存储模块以及统计分析模块。所述实时分布存储模块用于监测数据的集群存储。所述实时缓存队列模块用于待计算数据的实时冗余存储，以满足实时计算要求，分别与所述采集模块、所述统计分析模块采用松耦合联系并交互通讯。所述统计分析模块用于提取并计算所述缓存队列模块缓存的数据，以得到数据实时监测信息并进行实时统计分析。所述统计分析模块还用于基于提取的所述实时分布存储模块存储的数据，验证告警规则并发布告警信息。通过缓存队列和统计分析，满足了个性化实时统计分析需求，也提高了系统的可靠性和执行效率。

技术领域

本发明涉及数据处理技术领域，具体而言，涉及一种数据实时监测系统及方法。

背景技术

现有软件架构如Spark、Phoenix、Disco、Mars将大型计算任务分解为并行分布式计算片段，并整合分解计算结果。其适用于海量数据的分布式计算，其计算具备普适性，但是无法满足监测数据实时处理的特殊性以及应用数据实时处理的系统可靠性不高。

发明内容

有鉴于此，本发明实施例的目的在于提供一种数据实时监测系统及方法，以改善上述问题。为了实现上述目的，本发明实施例采取的技术方案如下：

第一方面，本发明实施例提供了一种数据实时监测系统，所述系统包括采集模块、实时缓存队列模块、实时分布存储模块以及统计分析模块。所述实时分布存储模块分别与所述采集模块、所述统计分析模块采用松耦合联系并交互通讯。所述实时缓存队列模块分别与所述采集模块、所述统计分析模块采用松耦合联系并交互通讯。所述采集模块用于实时采集多个待测点的数据并同时发送给所述实时缓存队列模块和所述实时分布存储模块。所述实时缓存队列模块用于缓存所述采集模块发送的多个待测点的数据。所述统计分析模块用于提取并计算所述缓存队列模块缓存的数据，以得到数据实时监测信息并进行实时统计分析。所述实时分布存储模块用于存储所述采集模块发送的多个待测点的数据。所述统计分析模块还用于基于提取的所述实时分布存储模块存储的数据，验证告警规则并发布告警信息。

在本发明较佳的实施例中，上述实时缓存队列模块用于基于内存关系数据库的二维表，按照预设规则将所述采集模块发送的多个待测点的数据缓存到表中。

在本发明较佳的实施例中，上述采集模块包括多个监测设备，每个所述监测设备分别与所述实时缓存队列模块、所述实时分布存储模块采用松耦合联系并交互通讯；每个监测设备用于采集每个待测点的数据并同时发送给所述实时缓存队列模块和所述实时分布存储模块。

在本发明较佳的实施例中，上述统计分析模块包括层次森林模块。所述层次森林模块基于实际业务层次关系，建立多个层次树，并通过所述层次树上的叶子节点配置为设备实现业务数据的实时汇总。。

在本发明较佳的实施例中，上述统计分析模块还包括设备层次映射表模块。所述设备层次映射表模块与所述层次森林模块采用松耦合联系并交互通讯。所述设备层次映射表模块用于预存每一个监测设备与所述层次森林模块中层次树计算依赖关系并生成设备层次映射表。

在本发明较佳的实施例中，上述实时缓存队列模块包括多个缓存队列子模块，所述系统还包括分布式统计模块，所述分布式统计模块包括与所述多个缓存队列子模块一一对应耦合的多个分布式统计子模块，每个所述分布式统计子模块用于根据与该分布式统计子模块对应的缓存队列子模块中的设备数生成多个线程，使得一个线程来计算一个设备。

在本发明较佳的实施例中，上述系统还包括组态式报警模块，所述组态式报警模块与所述统计分析模块采用松耦合联系并交互通讯，所述组态式报警模块用于监听并验证所述统计分析模块得到的数据实时监测信息，若所述统计分析模块得到的数据实时监测信息满足告警规则触发条件，则发布报警通知。