[发明专利]实时日志控制系统及控制方法、云计算系统及服务器

说明书

本发明属于云计算技术领域，公开了一种实时日志控制系统及控制方法、云计算系统及服务器，通过对于日志记录事件的分析，将错误信息进行分类、过滤、聚合操作，提取成为序列，训练故障模型并计算序列属于故障序列的概率和非故障序列的概率，使用贝叶斯分类理论得出结果，做出预测。本发明通过对于日志记录事件的分析，将所有的错误信息进行分类、过滤、聚合等操作，提取成为序列，训练故障模型并计算该序列属于故障序列的概率和非故障序列的概率，使用贝叶斯分类理论得出结果，做出预测，比起大量的规则匹配来说提高了判断速度；故障预测研究对于减轻网络管理和维护的负担，减少网络故障造成的损失具有重要意义。

技术领域

本发明属于云计算技术领域，尤其涉及一种实时日志控制系统及控制方法、云计算系统及服务器。

背景技术

随着计算机技术的高速发展，云计算成为最重要的计算机领域之一，云计算服务深入到每个人的生活和工作当中。能够通过对实时数据的计算，基于机器学习算法对于云计算系统中可能发生的故障进行提前预测，预留出故障响应时间，同时还支持弹性地平扩展集群的处理能力，以适应不断增长的数据量和用户需求。对海量日志数据进行实时计算处理，从数据中挖掘分析出系统的状态、故障预测方面具有良好的发展方向和应用前景。

综上所述，现有技术存在的问题是：原有的故障预测模型中，一方面，状态持续时间分布大多默认为指数型分布，而实际中故障的状态概率变化并不满足指数型；另一方面，在故障状态检测值概率做了离散化处理，这对大数据环境进行实验分析会有意料之外的影响，故本内容采用状态持续时间分布和状态观察值概率分布钧进行连续化分布即假定威布尔分布，采用改进的预测模型可提高诊断和预测的概率值。

发明内容

针对现有技术存在的问题，本发明提供了一种实时日志控制系统及控制方法、云计算系统及服务器。

本发明是这样实现的，一种实时日志控制方法，所述实时日志控制方法通过对于日志记录事件的分析，将错误信息进行分类、过滤、聚合操作，提取成为序列，训练故障模型并计算序列属于故障序列的概率和非故障序列的概率，使用贝叶斯分类理论得出结果，做出预测。

进一步，所述实时日志控制方法具体包括：

步骤一，收集分布式系统中各个节点上的日志文件数据，通过增量检查将新产生日志数据实时地发送给收集端；

步骤二，删除在某一时间段内相同位置报告的相同类型事件，删除冗余事件，通过设置时间阈值表示用于执行事件过滤的时间窗口；通过移除某一时间段内由多个不同位置报告的相似事件，删除日志中的冗余事件，将数据流保存到时序数据库中；使用相似性Sim(D₁，D₂)来判断：

其中D₁，D₂表示两个序列，W_1K，W_2K表示D1、D2序列的向量项，相似度即两个向量夹角的余弦值来表示，Sim(D₁，D₂)越大，表示两者相似度越高；

步骤三，在每条数据存储到数据表时，利用SQL语句按照时间戳、进程号、记录级别、进程模块、分隔符、记录信息分割记录；

步骤四，利用SQL语句将处理过的标准格式化数据进行持久化存储；

步骤五，提取日志故障序列；

步骤六，聚类标准根据序列的似然值作为度量值来计算，采用层次聚类算法实现故障相关事件分组，其中：

S＝[s_i]表示一个长为L状态序列，为在状态s_i(k)在初始状态概率向量π＝[π_i]下的观测值的概率矩阵；