[发明专利]基于深度学习的对监控数据趋势的预测方法及系统

权利要求书

1.一种基于深度学习的对监控数据趋势的预测方法，其特征在于，所述方法包括：

离线训练系统从实时流数据中提取若干数据构成数据集，并对数据集进行计算得到预测模型；

实时在线系统从实时流数据中提取若干数据构成预测集，并使用预测模型对预测集进行计算，得到监控系统的未来流数据的预测结果；所述数据集与预测集的交集为空。

2.根据权利要求1所述的基于深度学习的对监控数据趋势的预测方法，其特征在于，所述离线训练系统从实时流数据中提取若干数据构成数据集，并对数据集进行计算得到预测模型，具体包括：

以预定频率从实时流数据中提取若干数据构成数据集；

将数据集划分为训练集和测试集；

将训练集输入计算模型进行训练，所述计算模型包括长短时记忆网络LSTM模型；

将测试集输入训练后的计算模型进行测试，通过测试的训练后的计算模型为预测模型。

3.根据权利要求1或2所述的基于深度学习的对监控数据趋势的预测方法，其特征在于，所述离线训练系统从实时流数据中提取若干数据构成数据集之前，还包括：

分布式文件系统以预定频率将实时流数据传送至离线训练系统；

所述对数据集进行计算得到预测模型之后，还包括：

分布式文件系统从离线训练系统中获取预测模型并进行存储。

4.根据权利要求3所述的基于深度学习的对监控数据趋势的预测方法，其特征在于，所述分布式文件系统以预定频率将实时流数据传送至离线训练系统之前，还包括：

分布式发布订阅消息系统从监控系统中获取实时流数据，并将实时流数据持久化处理后分别传送至分布式文件系统和实时在线系统；传送至分布式文件系统的实时流数据构成的集合与传送至实时在线系统的实时流数据构成的集合交集为空；

所述使用预测模型对预测集进行计算，得到监控系统的未来流数据的预测结果，之后还包括：

数据库连接池从实时在线系统中获取监控系统的未来流数据的预测结果，并传送至商业智能仪表盘dashboard；

所述dashboard将监控系统的未来流数据的预测结果用曲线的形式进行展示。

5.根据权利要求4所述的基于深度学习的对监控数据趋势的预测方法，其特征在于，

所述实时在线系统包括但不限于：采用数据仓库技术ETL的计算引擎Spark；

所述分布式文件系统包括但不限于：大数据分布式文件系统HDFS；

所述分布式发布订阅消息系统包括但不限于：高吞吐量的分布式发布订阅消息系统kafka；

所述数据库连接池包括但不限于：德鲁伊Druid。

6.一种基于深度学习的对监控数据趋势的预测系统，其特征在于，所述系统包括：

离线训练系统，用于从实时流数据中提取若干数据构成数据集，并对数据集进行计算得到预测模型；

实时在线系统，用于从实时流数据中提取若干数据构成预测集，并使用预测模型对预测集进行计算，得到监控系统的未来流数据的预测结果；所述数据集与预测集的交集为空。

7.根据权利要求6所述的基于深度学习的对监控数据趋势的预测系统，其特征在于，所述离线训练系统包括：

获取单元，用于以预定频率从实时流数据中提取若干数据构成数据集；

划分单元，用于将数据集划分为训练集和测试集；

训练单元，用于将训练集输入计算模型进行训练，所述计算模型包括长短时记忆网络LSTM模型；

测试单元，用于将测试集输入训练后的计算模型进行测试，通过测试的训练后的计算模型为预测模型。

8.根据权利要求6或7所述的基于深度学习的对监控数据趋势的预测系统，其特征在于，所述系统还包括：

分布式文件系统，用于以预定频率将实时流数据传送至离线训练系统；以及，从离线训练系统中获取预测模型并进行存储。