[发明专利]一种数据监控系统和方法

说明书

技术领域

本发明的实施方式涉及数据处理领域，更具体地，本发明的实施方式涉及一种数据监控系统和方法。

背景技术

本部分旨在为权利要求书中陈述的本发明的实施方式提供背景或上下文。此处的描述不因为包括在本部分中就承认是现有技术。

随着信息科技日新月异的发展，信息呈现出爆发式的膨胀，产生了大量待处理的实时数据，例如网络监测数据、电信呼叫记录、金融应用数据、Web日志及点击流数据等。这些实时数据具有数据量极大、生成速度快和生成速率随时间变化等特点。如何在资源有限的情况下，实现对这些实时数据的快速、有效处理成为一个亟需解决的问题。

传统的关系数据库管理系统在处理有限的存储数据方面是高效的，但是处理大量的实时数据时则效率低下。

发明内容

因此在现有技术中，如何高效地处理海量实时数据，是非常令人烦恼的过程。

为此，非常需要一种改进的数据监控系统和方法，以高效地处理海量实时数据。

在本上下文中，本发明的实施方式期望提供一种数据监控系统和方法。

在本发明实施方式的第一方面中，提供了一种系统，包括：数据发送模块、消息队列模块、数据处理模块，其中：

所述数据发送模块，配置用于向所述消息队列模块发送待处理数据；

所述消息队列模块，配置用于接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；

所述数据处理模块，配置用于当接收到所述消息队列模块发送的待处理数据时，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。

优选地，所述数据发送模块配置用于异步地向所述消息队列模块发送待处理数据。

优选地，所述数据处理模块配置用于：

当所述数据处理模块处于空闲状态时，向所述消息队列模块发送数据请求用于请求待处理数据；

所述消息队列模块配置用于：

当接收到所述数据处理模块发送的数据请求时，向发送数据请求的数据处理模块发送待处理数据。

优选地，所述消息队列模块配置用于：

根据存储的数据订阅信息，向数据处理模块发送与所述数据订阅信息对应的待处理数据。

优选地，所述数据处理模块包括数据聚合单元和数据收集单元，

所述数据聚合单元配置用于：当所述预置的监控规则包括监控对象和监控指标时，按照预置的监控规则将待处理数据聚合处理成以监控对象为键、监控指标为值的键值对数据，以及，对聚合处理后的数据进行哈希运算，得到与其对应的数据收集单元的访问地址，将所述聚合处理后的数据发送到相应位置；

所述数据收集单元配置用于：接收所述数据聚合单元聚合处理后的数据，对具有相同键的键值对数据进行合并得到合并结果。

优选地，所述数据处理模块包括至少两个数据聚合单元以及至少两个数据收集单元。

优选地，所述系统包括至少两个数据发送模块；和/或

所述系统包括至少两个消息队列模块。

优选地，所述系统还包括：

报警模块，配置用于对经过数据处理模块处理后的处理结果进行统计，当获得的统计结果满足预置的报警条件时，输出报警提示信息。

优选地，所述系统还包括：

统一配置模块，配置用于对所述数据处理模块进行统一配置。

在本发明实施方式的第二方面中，提供了一种方法，应用于数据监控系统，所述系统包括数据发送模块、消息队列模块、以及数据处理模块，所述方法包括：

所述数据发送模块向所述消息队列模块发送待处理数据；

所述消息队列模块接收并存储所述数据发送模块发送的所述待处理数据，以及，向所述数据处理模块发送待处理数据；

所述数据处理模块接收所述消息队列模块发送的待处理数据，按照预置的监控规则对所述待处理数据进行处理，输出处理结果。

本发明实施例提供的系统和方法可以对实时产生的待处理数据，通过数据发送模块、消息队列模块发送给数据处理模块，由数据处理模块实现数据的实时处理，以输出处理结果，实现了对海量数据的实时处理，显著提高了对实时数据的处理能力。

附图说明

通过参考附图阅读下文的详细描述，本发明示例性实施方式的上述以及其他目的、特征和优点将变得易于理解。在附图中，以示例性而非限制性的方式示出了本发明的若干实施方式，其中：

图1示意性地示出了本发明实施例的一种应用场景；