[发明专利]一种基于AIOps的智能运维框架系统

权利要求书

1.一种基于AIOps的智能运维框架系统，其特征在于，包括算法模型在线服务模块、可视化建模平台、Notebook建模平台、数据治理模块和计算引擎模块；

算法模型在线服务模块提供训练好的模型的部署，提供算法的在线服务；

可视化建模平台集成了算法包，用可视化的方式进行调用，每个节点都是计算组件，包括特征工程、数据预处理、模型训练、结果评估的可视化调用的方式组成工作流；使模型的训练过程白盒化；

Notebook建模平台为基于开源Jupyter Notebook制作定制化内容，实现交互式的建模工作，提高兼容性能；

数据治理模块包括采用类SQL语法来满足各种场景需求，通过UDF实现用户自定义函数，采用Python Script兼顾常规三方库并支持上传自定义Python脚本和Shell,shell指为使用者提供操作界面；数据治理模块具体包括如下运转步骤：

101)原始数据输入步骤：数据的采集模块将数据从数据源采集到本系统中；数据在进入本系统时，由本系统生成统一流水号，且该流水号在本系统中是唯一的关键标识；其中，流水号中包括数据的来源系统、数据的生成时间、数据的类别；

102)数据的标准化处理步骤：被赋予了统一交易流水号后的数据会进入智能运维系统的数据预处理模块；数据预处理包括数据清洗、属性提取、类型转换、指标计算、解码编码，且都采用可拖拽的模式进行；

103)数据存储步骤：将上述处理后的数据存储进实时数据仓库，批处理的数据存储进汇总数据仓库，而实时数据仓库中的数据在处理过程完成后同样存储入汇总数据仓库；

104)数据分析步骤：对步骤103)的数据进行分析处理，经过数据分析处理的数据被转换为能有效被前台运维人员高效运用的数据；

数据分析包括数据接入、数据转换、数据验证、模型训练、模型验证、模型评价、大规模训练、模型发布、算法服务、训练监控、建模日志；

数据接入，以kafka方式接入第三方监控平台的指标数据，数据接入后进行预处理操作；

数据转换、数据验证采用系统内置丰富的ETL算法组件，通过拖拽的方式连接成“指标数据ETL处理“的Pipeline；

特征工程通过提供丰富的特征工程组件，用户可以通过拖拽选择使用不同的特征内容；

模型训练、模型验证、模型评价，整体上提供两种方式训练模型，一种是可拖拽Studio建模，另一种是在线交互式Notebook建模，分析不同的指标数据结构，可以训练的模型包括：动态基线、动态上基线、动态下基线、跑批缺失检测、磁盘容量预警；

大规模训练，因一个资源一个模型，在大规模的资源场景下采用多线程并发去训练资源指标模型，然后在汇总训练产生的模型文件上传到模型库；

模型发布，模型训练流程Pipeline保存模型到模型库中，预测流程Pipeline从模型库中加载已经存的模型并可以指定使用的模型版本；默认发布最新模型版本；

算法服务，提供预测流程Pipeline、蓝绿部署、版本控制服务；

训练监控、建模日志，在可视化Studio建模中，在Pipeline上面实时监控训练任务包括任务运行状态和运行日志，任务运行状态有等待执行、执行中、出错、执行完成，可实时查看训练状态和日志；

其中，分析处理的各个功能模块设计成可拖拽的模式，运维人员根据实际情况所需，选择相对应的功能模块进行分析处理；

105)数据可视化步骤：经过步骤104)处理的数据成为可消费的数据，将数据变成可拖拽的数据展示，其包括仪表盘展示、实时图表展示、历史图表展示、数据导出；

计算引擎模块采用分布式框架提供整个系统数据的运转和调度。

2.根据权利要求1所述的一种基于AIOps的智能运维框架系统，其特征在于，步骤101)中在给定流水号时计算数据来源之间的相似性，从而识别具有不同标识但实际拥有同一来源的数据；

相似性通过如下余弦公式计算相似度，来进行度量

其中，θ表示向量X、Y之间的夹角，X_i和Y_i分别代表向量X和Y的各分量。