[发明专利]基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统

摘要

本发明公开的一种基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统中，分析处理模块运用多源异构数据融合技术对实时数据进行预处理、归一化、相关性分析之后，通过模型匹配来输出结果，通过根因分析确定问题的根本原因；模型管理模块，用于获取数据进行机器学习，输出各种推理模型到分析处理模块和推荐决策模块；推荐决策模块，通过上下文识别，并根据策略匹配对应的后续处理行为。本发明基于多源异构数据融合技术、机器学习的运维方式，兼顾了大数据的兼容性问题，提升了运维的自动化程度，保证网络安全和服务质量，同时具备一定的预测能力，降低相关运维成本；而客服机器人的结果输出模式，进一步实现运维的智能化。

主权项

1.基于多源异构数据融合、机器学习及客服机器人的智能运维分析系统，其特征在于，包括分析处理模块、模型管理模块、推荐决策模块、校验应用模块：所述分析处理模块，运用多源异构数据融合技术对生产环境的实时数据进行预处理、归一化、相关性分析；再通过模型匹配来输出结果，所述结果包含系统内部的各种异常、网络关键事件的各种预测结果；然后通过根因分析输出某一个特殊事件的上下文，通过所述上下文确定问题的根本原因；所述预处理是指对各种异构日志数据进行解析、转换、清洗、规约操作，完成数据使用前的必要处理及数据质量保证；所述分析处理，主要包括流式计算处理框架Spark、离线批处理MR框架、人工智能计算框架、数据存储及检索引擎；所述输出结果包括通过客服机器人来输出结果；所述模型管理模块，用于获取历史数据，进行机器学习，输出各种推理模型，其中，输出上下文识别、预测、异常检测模型到所述分析处理模块进行分析处理，输出上下文处理、输出策略、规则模型到推荐决策模块用于自动化闭环运维；所述机器学习包括离线的机器学习训练平台、算法框架和模型；所述推荐决策模块，通过基于分析处理的上下文识别来确定当前事件所处的环境之后，根据策略匹配对应的后续处理行为，而行为列表则是基于用户的维护习惯学习得来，通过这样的方式，达到自动运维；所述校验应用模块，通过各种规则对自动运维的结果进行业务监控，防止整个自动运维跑偏。