[发明专利]一种用于信息系统自动运维策略的训练方法

说明书

本发明公开了一种用于信息系统自动运维策略的训练方法，主要包括基于机器学习、对抗学习的信息系统模拟器构造、基于强化学习的自动智能运维策略搜索和自动智能运维策略模型迁移优化三个部分，解决信息系统领域里的高动态、难求解的问题。

技术领域

本发明涉及一种用于信息系统自动运维策略的训练方法，可用于对信息系统自动智能运维，属于智能运维技术领域。

背景技术

自动智能运维策略的目标是辅助信息系统根据即时系统状态，调整并维护系统中各设备节点参数，即时地为覆盖范围内的用户提供最好的信息服务。传统的自动运维策略设计多依赖于对周边用户进行一定的偏好假设或约束，再用传统优化方法求解，而这些假设通常难以准确描述周边用户的行为，且假设不具有实时性，无法还原真实环境的高动态，使得根据这些假设求解的运维策略效果受限，且随信息系统越来越庞大，上述方法甚至无法进行求解。而自动运维是一个典型的多智能体交互环境下的序列决策过程，因此在本发明中，引入强化学习以解决以上问题。

强化学习中，智能体与环境不断交互试错，提升智能体自身的决策水平，使智能体在环境中逐渐学得最优控制策略，自动完成决策任务。然而，强化学习的学习过程需要智能体与环境进行大量交互试错，在实际的自动运维求解问题中，直接使用强化学习需要使用大量不同参数配置以进行试错，可能会导致现有系统崩溃，显然直接在真实的信息系统使用强化学习方法是不切实际的。

因此，在本发明中，我们提出了一种新型的基于对用户行为模式模拟的自动运维策略学习方法以解决上述问题。

发明内容

发明目的：针对现有技术中存在的问题与不足，本发明提供一种用于信息系统自动运维策略的训练方法。

技术方案：一种用于信息系统自动运维策略的训练方法，主要包括信息系统模拟器构建、策略搜索和迁移优化算法三个部分，其中信息系统模拟器由虚拟用户生成器、信息系统后台、虚拟用户行为策略三部分构建而成；该信息系统模拟器通过模拟信息系统运维策略、用户行为策略，产生用户与系统交互数据，这些数据中包含了用户行为记录、系统某配置参数下用户可感知的服务质量，以互联网服务供应商(ISP)为例，服务质量为带宽、时延，用户在信息系统中的行为包括下载、浏览网页、观看在线视频等。

策略搜索部分在构建完成的模拟器中搜索最优的运维策略，来动态地、实时地配置系统参数，优化服务质量。

迁移优化部分，将在模拟器中学得的运维策略部署到信息系统中作为运维策略，以用户集合信息作为特征，把模拟得到的活跃用户数量、服务质量等数据作为优化目标，求得能够最大化活跃用户数量、最优化服务质量的参数配置值，并将其作为信息系统运维过程中配置的具体参数值。此外，在新的运维策略部署上线后，在系统与用户的交互数据可用于对模拟器的进一步更新，以提高模拟的准确度，并更新运维策略。

附图说明

图1是本发明实施例的方法流程图。

具体实施方式

下面结合具体实施例，进一步阐明本发明，应理解这些实施例仅用于说明本发明而不用于限制本发明的范围，在阅读了本发明之后，本领域技术人员对本发明的各种等价形式的修改均落于本申请所附权利要求所限定的范围。

如图1所示，用于信息系统自动运维策略的训练方法，包括信息系统模拟器构建、策略搜索和迁移优化算法三个部分：

信息系统模拟器构建：

(1)虚拟用户生成器

该生成器生成一个周期(如一个自然日)内，信息系统中的活跃用户集合，以及用户属性。通常活跃用户的属性在一个周期内不改动。为了生成用户及对应属性，具体的实施方案描述如下：

首先，通过人工标注的方法，或聚类算法，根据用户的行为序列，切分为不同的用户群组；