[发明专利]基于融合学习和假设检验的内存回收趋势预警装置及方法

说明书

本发明实施方式提供了一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备。其中基于融合学习和假设检验的内存回收趋势预警装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量，所述监测量为内存回收事件；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M‑K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。本发明提供的实施方式能够提前对业务系统的异常和告警提供预警，提升业务系统的稳定性。

技术领域

本发明涉及GC故障技术领域，具体地涉及一种基于融合学习和假设检验的内存回收趋势预警装置、一种基于融合学习和假设检验的内存回收趋势预警方法、一种基于融合学习和假设检验的内存回收趋势预警设备以及对应的存储介质。

背景技术

趋势预测，一般是针对具有时间属性的数据进行分析，根据事物发展的连续性原理，应用机器学习或者数理统计方法对历史资料进行建模分析，来推测、预计分析目标的近期或中远期的趋势变化规律。趋势预测分析方法，在证劵市场分析、房地产市场分析、超市销量分析等领域都存在较广泛的应用，特别地，在IT系统智能监控领域，有一些业务场景需要提前知道何时会达到预警值而告警，如FullGC(Full Garbage Collection)何时会大幅增长，从而提醒运维人员提前做好应急准备，其它的应用场景很多，如CPU利用率的预测、磁盘使用率的预测、网络流量预测、系统容量预测等。

趋势分析的相关技术主要有传统方法，如移动平均法、ARIMA、Holt-Winters法(即三次指数平滑)、Prophet法(对STL模型的改进)等；以及深度学习方法，如长短期记忆网络模型(Long Short-Term Memory，LSTM)等。传统趋势预测方法效果一般不太好，实践中有较多限制，例如ARIMA算法主要是针对单变量趋势分析，并且需要对序列进行平稳化处理，而真实的数据一般难以达到平稳化要求。

发明内容

本发明实施例的目的是提供一种基于融合学习和假设检验的内存回收趋势预警装置、方法及设备，其采用LSTM与XGBoost算法的融合学习。因为LSTM算法能充分考虑到时间记忆，符合时序数据特点，并且能结合多维度的影响因素进行综合预测分析。

XGBoost(eXtreme Gradient Boosting)是一种基于树模型的随机梯度提升算法，是经过优化的分布式梯度提升库，旨在高效、灵活且可移植。XGBoost方法也可用于多维时间序列的回归预测问题。与LSTM的预测原理不同，经过两者的融合学习可以提升预测效果。

本发明实施方式针对IT系统中内存回收的监控GC日志序列数据，拟采用LSTM和XGBoost的融合学习算法实现多维多步预测，即考虑监控日志多维度特征数据之间的综合影响，利用前若干时刻的数据预测后若干步数据，如前100个时刻的数据预测后20个时刻的数据，从而得到当前时刻后面20个时刻点的趋势预测图。另一方面，对于预测序列趋势，考虑到固定阈值过于依赖经验，因此采用假设检验方法确认是否存在统计意义上的异常趋势拐点，为异常趋势的出现提前预警。为了实现上述目的，本发明第一方面提供一种基于融合学习和假设检验的内存回收趋势预警装置，所述装置包括：特征工程模块，用于通过关联分析确定与监测量存在相关关系的变量；融合学习模块，用于根据所确定的变量的历史值和融合学习模型得到所述变量的预测值；以及趋势预警模块，用于根据M-K检验方法对所述变量的预测值进行检测，根据检测结果对所述监测量进行预警。

优选的，所述特征工程模块包括：变量提取子模块，用于从数据文件中提取变量；数据切片子模块，用于根据预设粒度将提取的变量进行时间切片；以及相关性分析子模块，用于通过关联分析从时间切片后的变量中确定与监测量存在相关关系的变量。