[发明专利]面向IT运维的监控数据处理方法、系统、装置及存储介质

说明书

本发明涉及IT运维数据处理技术领域，具体涉及一种面向IT运维的监控数据处理方法、系统、装置及存储介质。所述方法包括：获取IT智能运维的监控指标数据；接收场景选择指令，所述场景包括健康评估场景和故障诊断场景；当所述场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；当所述场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。结合了最大均值差异与Mann‑Kendall检验对数据进行检验，能够获得适用于训练IT智能运维系统的健康评估模型和故障诊断模型的数据。

技术领域

本发明涉及IT运维数据处理技术领域，具体涉及一种面向IT运维的监控数据处理方法、系统、装置及存储介质。

背景技术

随着大数据、云计算以及人工智能的高速发展，IT运维管理逐渐从自动化运维向智能化运维转变，大多企业对智能运维都有较大的需求。智能运维主要是基于日志、监控信息、应用信息等数据，主张由机器学习方法从海量数据中不断学习、不断提炼并总结出规则，解决自动化运维对领域知识的依赖导致人力成本较高的问题。

智能运维建立在大数据基础之上，训练数据的好坏直接影响所构建的智能运维模型的实际效果。通过调研，申请人发现训练数据大多采用历史存储数据、线上采集数据或者测试数据，这些数据往往存在以下问题：

(1)训练数据包含监控指标众多，难以确定哪些指标有助于智能运维模型的构建。而决定智能运维模型性能的重要因素之一是特征的“代表性”，冗余指标的存在会影响智能运维模型实际运行的效果。

(2)训练数据包含大量的事件发生阶段，难以确定哪些阶段的数据有助于智能运维模型的构建。智能运维模型的构建需要一些特定场景下的数据，比如健康评估模型需要系统的健康趋势存在一定的变化并能在数据上体现，而在包含大量阶段的数据中难以判断哪些阶段的数据包含智能运维模型构建所需的场景。

因此，需要对海量训练数据进行处理，评估监控数据是否具有足够“代表性”的特征，是否包含所需的场景，进而评估监控数据是否有助于智能运维模型的构建，提取出适于智能运维模型的构建的监控数据，避免数据质量较差导致模型效果不佳。

发明内容

本发明提供一种面向IT运维的监控数据处理方法、系统、装置及存储介质，通过对海量IT智能运维的监控指标数据进行处理，得到高质量的能够用于系统健康评估和故障诊断的数据。

第一方面，本发明提供一种面向IT运维的监控数据处理方法，包括：

获取IT智能运维的监控指标数据；

接收场景选择指令，所述场景包括健康评估场景和故障诊断场景；

当所述场景选择指令为选择健康评估场景时，基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据；

当所述场景选择指令为选择故障诊断场景，基于获取的IT智能运维的监控指标数据，提取能够用于系统故障诊断的数据。

更进一步地，所述基于获取的IT智能运维的监控指标数据，提取能够表征系统健康状态的数据的步骤，包括：

采用多种特征选择方法对获取的IT智能运维的监控指标数据进行筛选，获取不同的特征空间数据；

对所述不同的特征空间数据的趋势与系统健康趋势的一致性进行定量表示，若一致性最高的特征空间数据所对应的一致性高于第一预设阈值，则保留该一致性最高的特征空间数据；

若所述一致性最高的特征空间数据能划分为系统的不同健康状态，则所述一致性最高的特征空间数据是能够表征系统健康状态的数据。