[发明专利]一种基于强化学习的服务链映射方法

权利要求书

1.一种基于强化学习的服务链映射方法，其特征在于，包括以下步骤：

步骤1：当接收到服务链映射请求时，检查虚拟网络功能的数量是否超过当前物理网络拓扑中所有服务器物理节点的总剩余资源，若超过，则转到步骤9；若没有超过，则转到步骤2；

步骤2：将服务链的头节点映射到当前负载最小的物理节点上；若当前负载最小的物理节点有多个，则随机选择一个；

步骤3：若单条服务链映射结束，则结束流程，若还未映射完成，则转到步骤4；

步骤4：对于单条服务链的后续虚拟网络功能，随机生成在0、1之间的随机数a，若 a小于阈值，则转到步骤5，否则转到步骤6；阈值的取值范围为0～0.1；

步骤5：随机选择一个物理节点对需要映射的虚拟网络功能进行映射，然后转到步骤7；

步骤6：根据此时物理网络资源和部署情况的状态，使用神经网络计算出所有动作的Q值，选择其中最佳动作的物理节点进行映射；

所述物理网络资源和部署情况的状态为上一个VNF部署位置与当前VNF全局节点的联合状态；对于VNF的每个节点，若其对vCPU的使用量超过可用vCPU的上限，则该节点的状态为1，否则为0，所有联合状态所组成的状态空间为S={，，…，} ，其中，n=，N为VNF全局节点的个数；

步骤7：根据此时底层物理网络资源的状况和服务质量，计算虚拟网络功能映射后的反馈值，并将此时物理网络资源和部署情况的状态、选择的动作、反馈值以及物理网络资源和部署情况的下一状态作为一条记录保存到经验池里；

步骤8：每隔一个固定时间后，采用经验池里的数据对所述神经网络进行训练，然后转到步骤3；

步骤9：拒绝服务链映射请求，结束流程。