[发明专利]基于序列化自编码器的无监督KPI异常检测方法

说明书

本发明公开了一种基于序列化自编码器的无监督KPI异常检测方法，目的是提高KPI异常检测的准确性和鲁棒性。技术方案是构建基于序列化自编码器的无监督KPI异常检测系统；输入模块提取KPI值向量；数据预处理模块对KPI值向量进行预处理；离线训练模块对标准化后的KPI值向量进行切分，构建异常检测模型并对模型进行训练；自动阈值选择模块计算阈值；有效检测窗口设置模块获取有效窗口值；输入模块、数据预处理模块、自动阈值选择模块、有效检测窗口设置模块、在线检测模块相互配合，对在线KPI序列进行检测，得到检测结果；显示模块显示检测结果。采用本发明可解决漏报率高、误报率高等问题，有效提高KPI异常检测的准确率。

技术领域

本发明属于信息技术系统智能运维技术领域，具体涉及一种基于序列化自编码器(自编码器是一种特殊结构的深度神经网络，包括编码器和解码器两个对称的结构)的无监督KPI(Key Performance Indicator，关键性能指标)异常检测方法。

背景技术

近年来随着云计算业务的广泛部署、数据中心规模的不断扩大、网络和通信系统的不断发展，互联网企业、运营商、金融机构等内部的IT架构在数量和规模上不断扩展，IT系统的服务器、存储设备、网络设备等数量越来越多，系统结构也愈加复杂多样，而保障IT系统的稳定性、可用性和高效性的运维工作必不可少，且运维人员任务愈加繁重，时常处于“救火”状态。当前IT系统的运维人员面临极大的工作压力，传统的依靠人力的运维模式已难以适应大规模IT系统发展的需求。同时，相比于传统运维的方式，大数据时代的运维面临着集群规模更大、业务组件更多、监控可视化与智能化更为复杂等诸多难题。综上所述，从机器规模到数据规模的扩大，传统的运维方式和方法已经不能满足现今互联网产品快速迭代的需求，为了保障良好的用户体验和业务效果，亟需更高效、更智能化的系统运维技术。

人工智能是撬动IT系统智能化的支点。随着大数据时代的到来，在海量数据场景下，利用大数据和人工智能等技术赋能现代化IT运维管理是当前运维领域的研究热点。2016年Gartner正式提出了智能运维(Artificial Intelligence for IT Operations,AIOps)的概念，即利用人工智能技术赋能IT运维，旨在利用AI算法分析海量运维数据，自动、准确地发现和定位问题，提高运维效率。当大数据、人工智能等技术赋能传统行业、驱动变革时，运维结合AI技术则把IT行业中原来完全依靠人工经验、重复枯燥的工作，推向了自动化、智能化的运维，引领运维的下一步发展方向，极大减轻了运维和研发人员的负担。运维的技术体系伴随着IT系统的快速发展而愈加完善，从最开始的纯人工运维到脚本和开源工具的使用，再到平台建设，运维也紧跟时代的步伐，逐渐向智能化方向发展。在海量数据场景下，AIOps开始成为下一代运维技术发展的热点。

自动化、智能化的KPI(Key Performance Indicator,关键性能指标)异常检测工作是智能运维的首要和关键环节。KPI可以直观地反应系统的实时状态，因此，为保证系统的可用性、可靠性和稳定性，及时发现故障、解决故障，为用户提供更好的服务体验，运维系统收集和监测各类KPI。KPI可分为两种：一种是业务级KPI(Business-related KPI)，比如页面访问量、APP连接错误数量等，此类KPI可以反应系统规模、质量等；另一种是机器级KPI(Machine-level KPI)，包括CPU/内存使用率、网卡吞吐率等，此类KPI可以反应系统硬件(服务器、路由器等)的健康状态。

IT系统中的KPI异常检测工作是当前智能运维领域的研究热点，已有方法取得了一定的效果，但依然还有很多工作值得深入。现有KPI异常检测工作面临以下挑战：

1.大规模IT系统需要对海量KPI进行监控，运维人员亟需更加自动化、智能化的异常检测方法以迅速、准确地发现问题，进而进行故障的移除和定位；

2.实际环境中产生的KPI比较复杂，除故障导致的异常点外，还有缺失点、噪声点等，增加了对KPI建模的难度；