[发明专利]一种调度和链接虚拟网络功能的方法及系统

摘要

本发明公开了一种调度和链接虚拟网络功能的方法及系统，包括如下步骤：根据网络环境信息和网络请求信息构建马尔科夫初始模型；对马尔科夫初始模型采用随机生成动作和反向传播神经网络方式进行深度增强学习训练获得马尔科夫训练模型；实时获取网络环境信息和网络请求的信息，并根据获取网络环境信息、网络请求的信息以及马尔科夫训练模型获得网络请求的虚拟网络功能放置节点和服务链，本发明通过采用随机生成动作和反向传播神经网络方式进行深度增强学习训练获得马尔科夫训练模型，能够最大限度实现网络功能和服务链的最优化部署，达到降低网络请求的总体延迟、提高网络资源利用率的目的。

主权项

1.一种调度和链接虚拟网络功能的方法，其特征在于，包括如下步骤：根据网络环境信息和网络请求信息构建马尔科夫初始模型；对马尔科夫初始模型采用随机生成动作和反向传播神经网络方式进行深度增强学习训练获得马尔科夫训练模型；实时获取网络环境信息和网络请求的信息，并根据网络环境信息、网络请求的信息以及马尔科夫训练模型获得网络请求的虚拟网络功能放置节点和服务链；马尔科夫初始模型用(S,A,U_r)表示，其中，S表示状态集合，A表示动作集合，U_r表示回报函数；状态集合S中网络请求r中第i个虚拟网络功能对应的状态表示为：r表示当前正在处理的网络请求，i表示当前处理的虚拟网络功能，C_v表示第v个节点的剩余容量，W_v表示第v个节点的剩余带宽，表示网络请求r中第i个虚拟网络功能的容量，W_r表示网络请求r的带宽量，P_r表示网络请求r运行时间，表示在配置完网络请求r中第i个虚拟功能网络后的网络请求r剩余可用延迟，n_r表示网络请求r剩余未处理的虚拟网络功能数目，V表示节点集合；网络请求r的回报函数为：其中，表示网络请求r中所有虚拟网络功能的集合的长度，表示网络请求r中第i个虚拟网络功能对应的状态下采取动作a的回报值，表示网络请求r中第i个虚拟网络功能对应的状态下放置有虚拟网络功能的节点数目，表示网络节点数目的权重，|V|表示放置虚拟网络功能节点集合中节点数目，P_r表示网络请求r运行时间，W_total表示网络总带宽，第一种回报函数处理情况是指将虚拟网络功能配置到节点上，且网络请求r中有虚拟网络功能未配置，第二种回报函数处理情况是指将虚拟网络功能配置到节点上，且网络请求r中所有虚拟网络功能均已配置，第三种回报函数处理情况是指拒绝将虚拟网络功能配置到节点上；深度增强学习训练包括如下步骤：步骤21：每隔一定时间获得实时的网络环境信息和实时到达的网络请求信息，获得网络环境信息集合和网络请求信息集合步骤22：判断r是否等于网络请求信息集合数量若是，将所有的网络请求的服务链作为马尔科夫训练模型输出；否则，则从网络请求信息集合中取出一个网络请求r作为当前处理网络请求，并对马尔科夫初始模型进行初始化；步骤23：当待分配虚拟网络功能数量n_r大于零时，进入步骤24，当n_r＝0时，则将网络请求r中所有虚拟网络功能的动作结果输出，作为网络请求r的服务链，令r＝r+1，并进入步骤22；步骤24：设置n_r＝n_r‑1；产生一个随机数p，若p＞P，则进入步骤25，否则，进入步骤26；步骤25：随机拒绝或挑选一个节点作为网络请求r中第i个虚拟网络功能f_i^r的放置节点，生成网络请求r中第i个虚拟网络功能f_i^r的动作a，获得网络请求r中第i个虚拟网络功能f_i^r的执行动作a的回报值，并进入步骤27；步骤26：根据网络请求r中第i‑1个虚拟网络功能对应的状态的状态转移模型和网络请求r中第i个虚拟网络功能对应的状态进行反向传播神经网络训练，生成网络请求r中第i个虚拟网络功能f_i^r的动作a，并网络请求r中第i个虚拟网络功能f_i^r的执行动作a的回报值；步骤27：根据网络请求r中第i个虚拟网络功能f_i^r的执行动作a更新在配置完网络请求r中第i个虚拟功能网络后的剩余可用延迟节点的剩余容量、节点的剩余带宽以及网络请求r的回报值，并进入步骤23；其中，网络请求r中第i‑1个虚拟网络功能对应的状态的状态转移模型根据网络请求r中第i‑1个虚拟网络功能对应的状态、网络请求r中第i‑1个虚拟网络功能对应的状态的动作、网络请求r中第i‑1个虚拟网络功能对应的状态执行该动作的回报值以及网络请求r中第i个虚拟网络功能对应的状态构建。