[发明专利]实时日志控制系统及控制方法、云计算系统及服务器

权利要求书

1.一种实时日志控制方法，其特征在于，所述实时日志控制方法通过对于日志记录事件的分析，将错误信息进行分类、过滤、聚合操作，提取成为序列，训练故障模型并计算序列属于故障序列的概率和非故障序列的概率，使用贝叶斯分类理论得出结果，做出预测；

所述实时日志控制方法具体包括：

步骤一，收集分布式系统中各个节点上的日志文件数据，通过增量检查将新产生日志数据实时地发送给收集端；

步骤二，删除在某一时间段内相同位置报告的相同类型事件，删除冗余事件，通过设置时间阈值表示用于执行事件过滤的时间窗口；通过移除某一时间段内由多个不同位置报告的相似事件，删除日志中的冗余事件，将数据流保存到时序数据库中；使用相似性Sim(D₁，D₂)来判断：

其中D₁，D₂表示两个序列，W_1K，W_2K表示D1、D2序列的向量项，相似度即两个向量夹角的余弦值来表示，Sim(D₁，D₂)越大，表示两者相似度越高；

步骤三，在每条数据存储到数据表时，利用SQL语句按照时间戳、进程号、记录级别、进程模块、分隔符、记录信息分割记录；

步骤四，利用SQL语句将处理过的标准格式化数据进行持久化存储；

步骤五，提取日志故障序列；

步骤六，聚类标准根据序列的似然值作为度量值来计算，采用层次聚类算法实现故障相关事件分组，其中：

S＝[s_i]表示一个长为L状态序列，为在状态s_i(k)在初始状态概率向量π＝[π_i]下的观测值的概率矩阵；

步骤七，采用隐半马尔可夫模型HSMM和贝叶斯网络Bayes Net相结合，对实时日志数据做出故障预测；

标准HSMM可由状态之间转化概率矩阵G(t)＝[g_ij(t)]、状态s_i(k)在初始状态概率向量π＝[π_i]下的观测值的概率矩阵B＝b_i(k)，定义为λ＝(π，G(t)，B)；将状态持续时间概率分布连续化；将状态持续时间的分布作为连续分布来处理，并且假设其服从威布尔分布来描述状态持续时间概率分布，状态的状态持续时间概率分布f_i(l)为：

f_i(l)＝αβ(αl)^β-1e^-(αl)β；

式中：α、β分别为威布尔分布的尺度参数和形状参数；

将状态监测值概率分布连续化；同样设定其服从威布尔分布，状态检测值概率分布函数ξ_i(θ)为：

其中α_i、β_i为各状态阶段的威布尔分布的参数；改进的HSMM模型可描述为

步骤八，故障和非故障模型进行训练，参数和目标是评估，给定一个观察序列O＝[o₁，o₂，...，o_l]是否为故障相关序列；计算分类模型的序列似然值，随后被分类为无故障或故障贝叶斯决策理论；

步骤九，故障结果预判：

将一个序列标记成为故障相关事件序列，系统发出故障预测；其中表示错误的将故障相关序列判断成为故障无关序列的代价，P(F)表示故障的概率，表示对序列似然值取对数；

所述提取日志故障序列具体包括：

第一步，提取错误事件序列：利用SQL语句，根据日志等级将ERROR级别的记录过提取出来，保留时间戳和文本消息信息；

第二步，合并相似错误事件：对事件序列利用Levenshtein编辑距离算法，将相似度较大的错误事件合并；最小编辑距离包含子最小编辑距离；

其中d_[i-1，j]+1代表目标日志插入一个字母，d_[i，j-j]+1代表匹配日志删除一个字母；然后x_i＝y_j时，不需要修改，所以和上一步d_[i-1，j-1]+1代价相同，否则+1，d_[i，j]表示以上三者中最小的一项；

第三步，错误事件分类：经过上一步将错误事件合并后，根据错误事件的文本信息中的关键字将相似的错误事件进行归类，并赋值ID，保存在数据库中；

第四步，提取序列：按照时间顺序，提取在故障发生前一段时间内的事件，设定为故障相关事件序列，为故障前置时间，当前故障事件为相关故障事件；非故障相关事件序列则是在系统未发生故障的时间区间内的事件序列。