[发明专利]一种基于策略网络强化学习的多类型服务资源编排方法

权利要求书

1.一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于，包括以下步骤：

步骤1：映射业务请求G^r首节点；

步骤2：将物理网络节点特征矩阵/节点-路径特征矩阵/路径特征矩阵输入强化学习模型PNRL-Model中；

步骤3：强化学习模型PNRL-Model输出候选节点概率P_N/候选节点路径元组概率P_NP/候选路径概率P_P；

步骤4：选择最大概率的动作进行映射，并更新物理网络G^s；

步骤5：将业务请求需要映射的下一节点(i+1)^r和与上一节点i^r之间的直连链路j^r作为一个元组同时映射，重复步骤2到步骤4，直至业务请求所有节点映射完成，并判断业务请求G^r是否映射完成；

步骤6：若业务请求G^r映射完成，计算业务映射收益成本比；否则映射剩余链路，重复步骤2到步骤4直至业务请求G^r映射完成，计算业务映射收益成本比；

步骤7：计算损失函数损失值Loss，使用策略梯度方法更新强化学习模型PNRL-Model的参数。

2.根据权利要求1所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述步骤1中的业务请求：包含虚拟节点和链路的请求网络拓扑，虚拟节点属性包括节点请求资源类型和请求资源量，虚拟链路属性包括请求带宽和容忍丢包率；

首节点为业务中需要被映射的首个节点。

3.根据权利要求1所述一种基于策略网络强化学习的多类型服务资源编排方法，其特征在于：所述物理网络包含物理节点和链路的物理网络拓扑，其中物理节点属性包括节点资源类型、节点剩余资源量、节点度、相邻链路剩余带宽和、平均距离；所述节点剩余资源量为物理网络节点当前可用的资源量，即节点总资源量减去被已经映射的业务占用的资源量；

所述节点度如下式：

所述相邻链路剩余带宽和，如下式：

目的节点到已被业务请求中虚拟节点映射的物理网络节点之间的平均距离，如下式：

物理链路属性包括带宽剩余量和丢包率；

物理网络路径属性包括带宽剩余量、带宽剩余率、跳数和丢包率，所述带宽剩余量，如下式：

带宽剩余率，如下式：

丢包率如下式：

节点特征矩阵，包含节点剩余资源量、相邻链路剩余带宽和、节点度和候选节点到已映射节点的平均距离，如下式：

节点-路径特征矩阵包含目的节点剩余资源量、相邻链路剩余带宽和、节点度、候选节点到已映射节点的平均距离，源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，如下式：

路径特征矩阵包含源节点到目的节点之间路径的可用带宽、带宽剩余率、跳数和最大丢包率，如下式：

上式中，R表示业务请求的集合，V^r表示业务请求G^r的虚拟节点集合，E^r表示业务请求G^r的虚拟链路集合，表示业务请求G^r中节点i^r对第t种资源的请求量，其中T表示物理网络中所有节点的资源类型，和分别表示业务请求G^r中虚拟链路j^r的带宽需求和容忍丢包率，其中V^s表示节点集合；E^s表示链路集合；分别表示物理网络节点i^s第t种类型的资源总量和剩余资源量，其中和分别表示物理网络中链路j^s的带宽总量、带宽剩余量和丢包率大小，其中分别表示路径的剩余带宽、带宽剩余率、丢包率和跳数，P^s(a^s,b^s)表示物理网络源节点a^s到目的节点b^s的无环路径集合，K＝|P^s(a^s,b^s)|，其中分别表示物理网络节点i^s的相邻链路集合、相邻链路剩余带宽和和节点度，其中表示业务请求G^r的请求节点i'^r在物理网络G^s中的候选节点集合，且SP(a^s,b^s)表示物理网络源节点a^s到目的节点b^s之间最短路径的跳数；表示物理网络目的节点b^s到已被业务G^r中虚拟节点映射的物理网络节点之间的平均距离。