[发明专利]一种基于Q学习的用于软件定义网络的路径选择方法

摘要

本发明公开了一种基于Q学习的用于软件定义网络的路径选择方法，软件定义网络基础设施层接收服务请求，构建虚拟网络，并分配适合的网络路径完成服务请求，其特征在于：所述适合的网络路径通过Q学习方式获取：⑴在已构建的虚拟网络上设定若干个服务节点P，对应每一个服务节点分配有相应的带宽资源B；⑵将接收到的服务请求分解为可采取的动作a，根据ε‑greedy尝试选择每一条可以到达终端的路径；⑶记录数据汇总为Q值表，并更新；⑷根据Q值表中的记录数据，找出适合的路径。本发明利用Q学习方式可以发现一条转发路径短，消耗时间少，占有带宽资源少，适用于动态、复杂网络的网络路径，在不调整虚拟网络的情况下，同时尽可能多的满足其他服务请求。

主权项

1.一种基于Q学习的用于软件定义网络的路径选择方法，由软件定义网络基础设施层接收服务请求，软件定义网络控制器根据所需服务组件及组合方式构建虚拟网络，并分配适合的网络路径完成服务请求，最终达到终端，其特征在于：所述适合的网络路径通过强化学习中的Q学习方式获取，其方法步骤为：⑴在已构建的虚拟网络上设定若干个服务节点P，对应每一个服务节点分配有相应的带宽资源B；⑵将接收到的服务请求分列为可采取的动作a，根据ε‑贪心(ε‑greedy)策略尝试选择每一条可以到达终端的路径，即将每一个动作a经过相应的服务节点P后完成服务请求；⑶上述每一次尝试均记录下来，并且记录相应的消耗时间，以及执行完成动作a后，每一服务节点P上的剩余带宽资源C，汇总为Q值表，同时该Q值表内的数据将被每一次的尝试数据所更新；⑷根据Q值表中的记录数据，找出路径短，消耗时间少，占用带宽资源少的路径，即为适合的路径；所述步骤⑶中，在Q值表中设置一立即奖赏参数r，当执行动作a消耗时间及占用的带宽资源B越少，为立即奖赏参数r加入奖励值，相反则为立即奖赏参数r减去惩罚值，根据立即奖赏参数r的数值大小，帮助ε‑贪心(ε‑greedy)策略选择最有可能成为适合的路径进行尝试；所述立即奖赏参数r＝带宽资源请求‑带宽资源+计算资源请求‑计算资源‑服务点间的路径×路径长短的权重n，当无执行任务时，r＝计算资源请求；当在计划用时时间内，动作a的下一个执行点是某一服务节点P而非终端时，r＝r‑X；否则，如果动作a的下一个执行点是终端时，r＝r+X，其中X:任意取一数值，奖惩是否完成目标；所述路径长短的权重n是确定路径长短与资源耗费之间相对于立即奖赏参数r重要性的系数，当路径长短对整个立即奖赏参数r更为重要时，权重n值较大，相反则较小。