[发明专利]基于深度学习的对监控数据趋势的预测方法及系统

说明书

技术领域

本发明涉及计算机监控技术领域，具体涉及基于深度学习的对监控数据趋势的预测方法及系统。

背景技术

现有的运维监控系统都是通过统计历史数据的时间序列进行可视化，让运维人员清楚地看到指标的波动从而分析结果，当显示的数值达到或者超过指定值，我们认为该被监控的系统发生异常。但是目前的方法仅仅是对历史数据进行了展示，对数据自身的规律的挖掘以及日后趋势的分析均未涉及。

日常运维的业务指标数据会出现一些环比昨日的明显异常、持续偏离的明显问题和随着时间周期漂移的指标数据等问题。以前这些监控的配置基本靠工程师经验或持续的迭代修正，甚至纯靠人工排查，但是，面对大量的监控数据，一时间运维人员可能很难找到问题所在或是无法直接发现潜在的报警点。另一方面，监控系统产生的大量监控数据并没有完全发挥它的价值，这些数据可以被用来发现并挖掘出其中可能被我们所用的某种联系。

传统方法(ARIMA，Holter winter)对于监控数据趋势的预测效果往往并不令人满意，如ARIMA算法的一个技术难点就是时间序列的平稳化，平稳化的时间序列对于预测结果的好坏起着至关重要的作用。另一个问题是滑动平均操作带来的结果如波动锯齿明显，容易造成误报干扰的化，则加大监控监测周期。

随着监控系统的发展，可以通过制定监控标准和自动化监控部署实现运维的标准化和自动化，最终的目标是希望用智能化的方法彻底解决这个问题。

发明内容

本发明要解决的技术问题在于，克服现有的技术的不足，提供基于深度学习的对监控数据趋势的预测方法及系统，其能够从监控数据中预测出未来监控数据的趋势结果，这个结果能够为未来监控数据的趋势作良好参考，从而为监控系统运维人员提高工作的效率和准确性。

为达到上述技术目的，一方面，本发明所述的基于深度学习的对监控数据趋势的预测方法，包括：

离线训练系统从实时流数据中提取若干数据构成数据集，并对数据集进行计算得到预测模型；

实时在线系统从实时流数据中提取若干数据构成预测集，并使用预测模型对预测集进行计算，得到监控系统的未来流数据的预测结果；所述数据集与预测集的交集为空。

另一方面，本发明所述的基于深度学习的对监控数据趋势的预测系统，包括：

离线训练系统，用于从实时流数据中提取若干数据构成数据集，并对数据集进行计算得到预测模型；

实时在线系统，用于从实时流数据中提取若干数据构成预测集，并使用预测模型对预测集进行计算，得到监控系统的未来流数据的预测结果；所述数据集与预测集的交集为空。

在本发明中，离线训练系统通过分析实时流数据，得到预测模型，然后实时在线系统将该预测模型结合实时流数据可以得到监控系统的未来流数据的预测结果。此结果可以作为未来监控数据趋势的一个良好参考，为我们的运维人员解放出来许多精力和时间。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。

图1为本发明一个实施例的方法流程示意图；

图2为本发明另一个实施例的方法流程示意图；

图3为本发明一个实施例的系统结构示意图；

图4为本发明另一个实施例的系统结构示意图；

图5为本发明实施例中离线训练系统的结构示意图；

图6为本发明的总体架构示意图；

图7为本发明实施例中离线训练系统的工作流程图；

图8为本发明实施例中计算模型的一个单元结构图；

图9为本发明实施例中数据集的结果展示图；

图10为本发明实施例中训练集的拟合效果和测试集的预测结果展示图，其中，浅色曲线为训练集的拟合效果，深色曲线为测试集的预测结果；

图11为本发明实施例的数据集中最大值和最小值的结果展示图，其中深色为最大值的结果，浅色为最小值的结果。

具体实施方式

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。