[发明专利]一种基于深度学习的云计算系统异常检测方法

说明书

发明涉及一种基于深度学习的云计算系统自动化故障检测方法。基于聚类将格式和内容相似的日志进行聚集，进而提取日志模式；将每个模式作为一个词，并将离散模式集作为一个文档，从而得到低维度特征空间；使用递归神经网络处理标记数据以得到跨序列的依赖性，从而生成信号以检测云计算系统异常。

技术领域

本发明涉及一种基于深度学习的云计算系统异常检测方法，属于软件技术领域。

背景技术

随着云计算技术的发展，大量在线服务和关键任务依赖于异构的云计算系统来完成，最小化这些系统的停机时间非常重要。控制台日志记录了云计算系统的操作状态和事件，并且具有丰富的描述性信息。当前，日志分析的相关研究主要集中在系统异常检测与诊断领域，目的是快速检测出异常发生时的信号，并确定异常的根本原因。云计算环境下，基于日志的异常检测需要在可接受的性能条件下，处理分析大量系统特征（T. Kimura, K.Ishibashi, T. Mori, H. Sawada, T. Toyono, K. Nishimatsu, A. Watanabe, A.Shimoda, and K. Shiomoto,Spatio-temporal factorization of log data forunderstanding network events, 2014 IEEE Conference on ComputerCommunications, INFOCOM 2014, Toronto, Canada, April 27 - May 2, 2014, 2014,pp. 610–618.）。同时，控制台日志通常是由不同的应用程序或服务生成，因此日志具有异构性，表现为多样化和不均衡的单词分布，使得传统的文本挖掘方法(如，主题建模)从云计算系统的控制台日志中提取有意义的特征非常困难（X. Ning and G. Jiang, “HLAer: Asystem for heterogeneous log analysis,” in Proceedings of the SDM Workshop onHeterogeneous Learning, 2014.）。此外，虽然控制台日志记录了云计算系统的健康状态信息，但现有的系统管理技术主要在出现问题后分析错误，时效性较差（T. Kimura, A.Watanabe, T. Toyono, and K. Ishibashi, “Proactive failure detection learninggeneration patterns of largescale network logs,” in Network and ServiceManagement, 2015 11th International Conference on, Nov 2015,pp. 8–14.）。现有工作分析源代码以建立日志的常规格式，但该类方法只能在源代码应用，不能将不同编程语言和日志样式的不同应用程序的异构日志混合起来（W. Xu, L. Huang, A. Fox, D.Patterson, and M. I. Jordan,“Detecting large-scale system problems by miningconsole logs,” in Proceedings of the ACM SIGOPS 22nd symposium on Operatingsystems principles. ACM, 2009, pp. 117–132.）。控制台日志通常是由应用程序源代码中定义的模板生成，因此具有预定义的格式。在应用程序运行过程中，日志常常是多余的，找到规则的格式来表示并总结类似的日志信息可以减少冗余而不丢失重要信息，从而高效获取日志数据的含义。

发明内容

本发明的目的：提出一种基于深度学习的云计算系统异常检测方法，从控制台日志中提取通用特征，建模为时序深度神经网络，以执行自动化的检测系统异常。