[发明专利]基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统

权利要求书

1.基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块：所述分析处理模块，运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析；再通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果；然后通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；

所述输出结果包括通过客服机器人来输出结果；

所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中，输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；

所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；

所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。

2.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是在不改变原始数据的存储和管理方式下，对多源异构数据进行逻辑整合。

3.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象为时序数据，并存储至时间序列数据库，实现运维数据的快速存储和查询。

4.根据权利要求1或2所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述多源异构数据融合技术是将数量巨大的运维指标数据抽象成时间和空间两个维度，形成数据矩阵，以利于后续的管理和应用。

5.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述机器学习是机器聚类学习，通过机器聚类学习在一些随机事件中把属于同一类别的事件进行归类；然后通过异常事件之间的相关性分析，来发现这些事件的相关性；通过异常服务和事件贡献度的分析，找到导致异常服务的具体网络事件；通过全链路调用挖掘发现不同组件、拓扑对象之间的关系，找到故障传播链；将对于事件的预测成为事件异常检测的一种手段，如果发现检测的值相离预测值较远，则认为是异常。

6.根据权利要求1所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述机器学习的算法是日志智能聚合算法，通过对运维数据进行聚类分析，计算日志之间的距离以及正则模式的匹配，将数据进行无损压缩，提取出日志数据的模式，快速去除日志噪音，使运维人员快速定位到异常信息，进行事故根源分析；提取出的模式通过记录其特征值，加入每日、每小时的监控中，利用日志比较算法记录各个模式的异常信息的实际变化，应用到运维变更后，监控各个模式的增减，及时发现系统异常情况。

7.根据权利要求3所述的基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，所述模型管理模块通过对每种容量指标分别设置模型参数，并综合运用ARMA和GARCH预测模型，对容量指标进行短期和长期预测；通过预测误差分析和参数修正流程，同时学习容量指标的历史数据和新产生数据，及时调整预测模型的参数组合，适应指标数据的发展变化，不断提高模型预测准确度。