[发明专利]基于强化学习的面向微服务的资源管理系统

权利要求书

1.一种基于强化学习的面向微服务的资源管理系统，其特征在于，包括：状态转化单元、资源分配决策单元以及管理方法评价单元，其中：状态转化单元采集数据中心当前的运行状态信息、执行资源分配决策单元的动作以及将微服务之间的资源需求关系转化成资源二分图，资源分配决策单元通过二分图神经网络建模推导得到微服务资源性能特征，并且通过感知器网络得出可行的资源分配方案，管理方法评价单元采用反映数据中心资源的效益的标准生产总值指标评价资源分配方案的优劣性，通过比较在不同配置的资源分配决策单元下系统的GNP，实现资源分配方案的优化；

所述的微服务资源性能特征是指：微服务在不同资源数量下的执行时间的变化特征；

所述的运行状态信息包括：数据中心的CPU、存储、磁盘的资源使用情况以及剩余信息、不同微服务对不同资源的需求信息和不同微服务在不同资源数量下的执行时间以及对整个应用响应时间；

所述的使用情况以及剩余信息，利用现有的服务器资源管理工具采集；

所述的需求信息，利用服务器系统提供的进程资源管理工具采集；

所述的执行时间以及和整个应用响应时间，通过分布式追踪工具采集；

所述的资源二分图，根据采集到的资源的需求信息以及微服务之间的调用关系构建得到，其中每一个节点表示一个微服务，节点的属性是一个数组，记录着该微服务对不同资源的需求信息；图的边表示微服务之间的调用关系；

所述的微服务之间的调用关系是指：所生成的微服务资源二分图的一组节点是API微服务，是应用请求的入口，将请求分配给多个微服务执行；另一组节点是函数微服务，是执行请求的逻辑功能，即一类请求通过一个API微服务，调用多个函数微服务；

所述的资源分配方案的优化是指：根据比较得到的资源分配决策，限制每个微服务的所能占用的资源。

2.根据权利要求1所述的基于强化学习的面向微服务的资源管理系统，其特征是，所述的资源分配决策单元包括：一个二分图神经网络和一个感知器网络，其中：二分图神经网络的输入是所有微服务特征向量的集合，输出由相关联的微服务的建模推导所得的更新后的特征向量的集合，反映微服务资源性能特征对整个应用的性能的重要性；感知器网络根据更新后的特征向量的集合以及当前数据中心运行状态通过SoftMax函数得到可行的资源分配方案Y＝(M_L...ReLU(M₁H′+b₁)+b_L)；

所述的微服务特征向量是指：微服务i的特征向量h_i＝{s₁，...，s_n}，其中：特征值s_j是微服务对第j类资源的需求数量，特征向量的维度n是系统中资源的种类数量。

3.根据权利要求2所述的基于强化学习的面向微服务的资源管理系统，其特征是，所述的所有微服务特征向量的集合为：H＝{h₁，...，h_p}，p是系统微服务的总量，即API微服务数量和函数微服务数量的总和，h_i∈H是微服务i的特征向量。

4.根据权利要求1或2所述的基于强化学习的面向微服务的资源管理系统，其特征是，所述的二分图神经网络包括：前注意力和后注意力，其中：前注意力反映一个API微服务的特征受到其调用的函数微服务的特征的影响，后注意力反映一个函数微服务的特征受到调用它的API微服务的特征的影响。