[发明专利]一种云平台日志的分析方法、系统、设备及介质

说明书

本发明公开了一种云平台日志的分析方法、系统、设备和存储介质，方法包括：对云平台日志进行预处理，按照预设时间长度将日志记录的时间平均分成多个时间段，并统计每个时间段内的日志总数；选取包括多个连续时间段的时间窗口，对所述时间窗口中的每个时间段根据相异度数值进行分类以得到异常类，并根据所述异常类中日志对应的时间确定发生故障的时间段；对发生故障的时间段的日志进行分词，并计算每个单词的词频和逆文本频率；以及根据词频和逆文本频率的乘积确定发生故障的原因。本发明通过聚类的方式确定故障发生的时间段，并根据词频和逆文本频率确定发生故障的原因，从而能够快速对云平台日志进行分析，提高运维人员的运维效率。

技术领域

本发明涉及日志分析领域，更具体地，特别是指一种云平台日志的分析方法、系统、计算机设备及可读介质。

背景技术

随着云计算的高速发展，越来越多的企业把公司业务和系统放到云平台上，云平台能按照不同用户的需求，快速构建开发环境和分配计算资源，具有弹性、快速、按需的优点。对于云平台，保证系统可靠性是非常重要的。对于很多企业级的大型云计算服务来说，节点可能成千上万，如此众多的节点是非常容易出现故障的。在加上云平台服务的复杂性，导致有些问题很难发现并及时解决，这给运维人员带来巨大的工作量。日志是系统运行状态的重要的记录载体，运维人员可以通过日志定位服务的异常，为系统的稳定运行提供依据。

目前市面上的系统日志管理工具，一般都是对日志进行集中采集和对日志进行索引处理，以便运维人员从中搜索、分析、监控与可视化等功能。但是这些工具没有对日志进行深度分析，仍然需要通过人工的方式去对日志进行解读与分析，从而判断系统是否存在异常，由于存在大量的日志，人工排查极其耗时间，无法及时的发现系统异常并作出准确判断。

发明内容

有鉴于此，本发明实施例的目的在于提出一种云平台日志的分析方法、系统、计算机设备及计算机可读存储介质，本发明通过聚类的方式确定故障发生的时间段，并根据词频和逆文本频率确定发生故障的原因，从而能够快速对云平台日志进行分析，提高运维人员的运维效率。

基于上述目的，本发明实施例的一方面提供了一种云平台日志的分析方法，包括如下步骤：对云平台日志进行预处理，按照预设时间长度将日志记录的时间平均分成多个时间段，并统计每个时间段内的日志总数；选取包括多个连续时间段的时间窗口，对所述时间窗口中的每个时间段根据相异度数值进行分类以得到异常类，并根据所述异常类中日志对应的时间确定发生故障的时间段；对发生故障的时间段的日志进行分词，并计算每个单词的词频和逆文本频率；以及根据词频和逆文本频率的乘积确定发生故障的原因。

在一些实施方式中，所述对所述时间窗口中的每个时间段根据相异度数值进行分类以得到异常类包括：从所述时间窗口中随机选取第一数量个时间段作为初始中心点；依次计算每个剩余的时间段到所有初始中心点的相异度数值，并根据所述相异度数值将每个剩余的时间段分到对应的初始中心点以形成多个簇；以及计算每个所述簇的误差平方和，基于所述误差平方和在所述簇中确定新的中心点，并基于新的多个中心点再次计算相异度数值并重复上述步骤直到满足聚类条件。

在一些实施方式中，所述根据所述相异度数值将每个剩余的时间段分到对应的初始中心点以形成多个簇包括：确定待分的当前时间段对应的最低的相异度数值，并将所述当前时间段分到所述最低的相异度数值对应的初始中心点。

在一些实施方式中，所述重复上述步骤直到满足聚类条件包括：判断是否存在簇的误差平方和的大小出现拐点；以及响应于存在簇的误差平方和的大小出现拐点，停止重复上述步骤。

在一些实施方式中，所述根据所述异常类中日志对应的时间确定发生故障的时间段包括：获取每个类别中日志总数，并判断是否存在类别的日志总数小于阈值；以及响应于不存在类别的日志总数小于阈值，根据日志总数最小的类别确定发生故障的时间段。