[发明专利]基于门限残差网络的虚拟现实设备集群带宽分配装置

摘要

本发明公开了一种基于门限残差网络的虚拟现实设备集群带宽分配装置，包括用于输出带宽分配决策的控制系统和用于分配虚拟现实设备集群各节点带宽的执行系统，分配装置还包括用于获取并输出虚拟现实设备集群的带宽信息的检测系统，控制系统以检测系统检测的带宽信息作为输入和反馈，以执行系统执行的行动作为输出，通过门限残差网络对获得的带宽信息进行高低维度转换，通过策略网络作出决策，通过评价网络评价决策，计算网络的损失后更新网络的参数。本发明能够有效地控制具有连续动作空间的面向具有多个虚拟现实设备的带宽分配技术，能够在无监督信号的情况下，自主学习更新神经网络的参数，以使有限的带宽达到最优分配。

主权项

1.一种基于门限残差网络的虚拟现实设备集群带宽分配装置，包括用于输出带宽分配决策的控制系统和用于分配虚拟现实设备集群各节点带宽的执行系统，其特征在于，所述分配装置还包括用于获取并输出虚拟现实设备集群的带宽信息的检测系统，所述控制系统以所述检测系统检测的带宽信息作为输入和反馈，以所述执行系统执行的行动作为输出，通过门限残差网络对获得的带宽信息进行高低维度转换，通过策略网络作出决策，通过评价网络评价决策，计算网络的损失后更新网络的参数；所述控制系统通过如下方法作出决策：步骤1、初始化各网络的参数和强化学习算法的参数；步骤2、获取虚拟现实设备集群的当前带宽信息并通过所述门限残差网络将所获取的高维度带宽信息转换为低维度特征信息，所述带宽信息包括带宽上限信息、带宽传输速率信息以及带宽产生速率信息；步骤3、以当前状态st作为输入，通过所述策略网络计算采取并输出当前行动at，获得下一状态st+1和立即奖赏rt，其中，当前状态st为带宽分配前虚拟现实设备集群的特征信息；当前行动at为带宽分配时虚拟现实设备集群各节点增加或减少带宽分配；下一状态st+1为带宽分配后虚拟现实设备集群的特征信息；立即奖赏rt为带宽分配后虚拟现实设备集群带宽信息的传输速度tv1与产生速度tv2的差值的绝对值的负值，即rt＝‑|tv1‑tv2|；步骤4、以当前状态st作为输入，通过所述评价网络计算计算强化学习算法评价函数V(st)的值；步骤5、计算控制系统整个网络模型的总损失，判断当前行动at所属步数是否超过设定步数，如是，则更新所述门限残差网络、所述策略网络以及所述评价网络的参数，如否，则更新所述策略网络以及所述评价网络的参数；步骤6、判断当前带宽利用率和带宽传输效率是否超过预设值，如是，则停止训练，如否，则返回步骤3继续循环训练。