[发明专利]一种数据监控系统和方法

说明书

技术领域

本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据监控系统和方法。

背景技术

随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的实时数据，例如网 络监测数据、电信呼叫记录、金融应用数据、Web日志及点击流数据等。这些实时数据具有数据量极大、 生成速度快和生成速率随时间变化等特点。如何在资源有限的情况下，实现对这些实时数据的快速、有 效处理成为一个亟需解决的问题。

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部 分中就承认是现有技术。

传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量的实时数据时则效 率低下。

发明内容

在本发明实施方式的第一方面中，提供了一种系统，包括：数据发送模块、消息队列模块、数据处 理模块，其中：

所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；

所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述 数据处理模块发送待处理数据；

所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规 则对所述待处理数据进行处理，输出处理结果。

优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。

优选地，所述数据处理模块配置用于：

当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；

所述消息队列模块配置用于：

当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。

优选地，所述消息队列模块配置用于：

根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。

优选地，所述数据处理模块包括数据聚合单元和数据收集单元，

所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控 规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数 据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；

所述数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数 据进行合并得到合并结果。

优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单元。

优选地，所述系统包括至少两个数据发送模块；和/或所述系统包括至少两个消息队列模块。

优选地，所述系统还包括：

报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置 的报警条件时，输出报警提示信息。

优选地，所述系统还包括：

统一配置模块，配置用于对所述数据处理模块进行统一配置。

具体实施方式

本领域技术人员知道，本发明的实施方式可以实现为一种系统、装置、设备、方法或计算机程序产品。 因此，本公开可以具体实现为以下形式，即：完全的硬件、完全的软件(包括固件、驻留软件、微代码 等)，或者硬件和软件结合的形式。

根据本发明的实施方式，提出了一种数据监控系统和方法。

在本文中，需要理解的是，所涉及的术语“消息队列”用于表示在消息的传输过程中保存消息的容器。 一般地，“消息”是在两台计算机间传送的数据单位。“消息队列”的主要作用在于提供路由并保证消息 的传递。例如，发送消息时接收者不可用，消息队列会保留消息，直到可以成功地传递它。