[发明专利]监控数据处理方法与系统

说明书

本发明公开了一种监控数据处理方法与系统，涉及计算机技术领域。监控数据处理系统包括：数据采集模块，用于监控内容分发网络，生成监控日志数据；数据存储模块，用于存储所述监控日志数据；数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。本发明可及时发现异常监控日志数据。

技术领域

本发明涉及计算机技术领域，尤其涉及监控数据处理方法与系统。

背景技术

相关技术中，CDN服务质量监测系统一般会涉及时序监控指标数据的采集、中转、存储及应用。CDN服务质量监测系统的有效可靠性严重依赖时序指标数据流的数据是否准确完整及时的写入指定服务中。

但是CDN服务质量监测系统在采集监控数据时，由于其中部分边缘节点的日志格式与约定的日志格式不一致，导致脏数据呈指数级的产生，浪费大量带宽及存储资源。

发明内容

本发明的主要目的在于提供一种监控数据处理方法与系统，旨在解决相关技术中CDN日志数据存储状态存在异常导致带宽及存储资源被浪费的技术问题。

为实现上述目的，本发明提供一种监控数据处理系统，包括：

数据采集模块，用于监控内容分发网络，生成监控日志数据；

数据存储模块，用于存储所述监控日志数据；

数据流状态分析模块，用于统计所述监控日志数据的存储状态信息，获得所述监控日志数据的监控结果，并将所述监控结果发送至所述数据存储模块；

数据应用模块，用于监控到所述数据存储模块中的所述监控结果为异常结果时，发出告警信息。

在一些实施例中，所述数据流状态分析模块还用于获取所述监控日志数据的各个状态指标的实际参数，将所述实际参数与对应的指标参考参数进行比对，获得所述状态指标的监控结果，并将所述监控结果发送至所述数据存储模块。

在一些实施例中，所述系统还包括：

运维管理模块，用于存储各个节点的部署信息；

所述数据流状态分析模块，还用于根据所述部署信息，从所述监控日志数据中筛选出各个节点的监控指标信息，并根据所述监控指标信息，确定所述节点的运行状态，并将所述运行状态发送至所述数据存储模块；

所述数据应用模块还用于监控到所述数据存储模块中的所述运行状态为异常状态时，发出告警信息。

在一些实施例中，所述数据流状态分析模块还用于采集所述数据存储模块的读写访问能力信息，并根据所述读写访问能力信息，确定所述数据存储模块的实时运行状态；

所述数据应用模块还用于监控到所述数据存储模块中的所述实时运行状态为异常状态时，发出告警信息。

在一些实施例中，所述数据存储模块对同一所述监控日志数据存储有多个副本；

所述数据流状态分析模块还用于记录每个所述副本的数据到达率；

数据应用模块还用于在接收到调度指令时，获取所述数据到达率，并根据所述数据到达率，从多个所述副本中确定出目标副本。

在一些实施例中，所述系统还包括：

数据接收模块，用于将所述数据采集模块生成的监控日志数据备份，获得备份监控日志数据，并将所述备份监控日志数据发送到数据队列模块；

数据队列模块，用于将所述备份监控日志数据存储预设时长；