[发明专利]基于增强学习的信息中心网络兴趣包转发方法

说明书

本发明提供了基于增强学习的信息中心网络兴趣包转发方法，包括探索阶段和利用阶段，探索阶段在转发信息表中增加Q值，并根据最长前缀匹配来获取候选端口列表，在数据包中增加离开时间和最小Q值，并通过数据包中所携带的信息计算数据包端口数据流的Q值，转发N₁个兴趣包后进入利用阶段；智能体转发兴趣包时还依据概率选择转发最佳端口，当满足概率计算公式或是发送了N₂个兴趣包时，结束利用阶段，重新开始进入探索阶段。本发明将兴趣包的转发过程转换为路径优化问题，从而有效地解决网络中的拥塞问题。

技术领域

本发明涉及信息中心网络技术领域，具体涉及基于增强学习的信息中心网络兴趣包转发方法。

背景技术

随着海量流媒体业务的广泛应用，当前TCP/IP网络在数据的移动性、安全性等方面逐渐趋于极限。传统网络采用以“推”为主的通讯方式获取内容，这种方式导致内容提供端的瓶颈，网络容易出现拥塞现象。为了解决这类问题，信息中心网络(Information-Centric Networking，ICN)应运而生。ICN是一中新型的网络架构，采用面向信息的通信模型取代传统面向主机的通信模型。虽然ICN为用户获取海量、异质信息带来了希望，但是网络的拥塞都是亟待解决的一大难题。然而，ICN具有独特的特性，传统网络的拥塞控制策略并不能直接地应用于ICN中。

ICN采用信息缓存机制，有效地缓解了业务量几层出现的拥塞问题，但是拥塞依然是不可避免。当ICN发生拥塞时，网络的整体性能下降，降低了用户的服务质量。如果数据在进行通信的过程中能主动地避开拥塞的链路，那么网络的拥塞问题在一定程度上就可以得到缓解甚至是避免。传统网络在通讯时，数据的转发是根据路由表中的信息进行的。在ICN中，对数据转发不仅会参考一个类似IP路由表的转发信息表，同时还会考虑当前的网络环境以及节点的可用通信接口等因素。

发明内容

为解决上述问题，本发明提供基于增强学习的信息中心网络兴趣包转发方法，采用增强学习算法，将网络中的每个路由节点看成是智能化节点，并将兴趣包的转发过程转换为路径优化问题，路由节点能够实时地做出相应的转发决策，从而有效地解决网络中的拥塞问题。

为了实现上述目的，本发明采用的技术方案为：

基于增强学习的信息中心网络兴趣包转发方法，包括探索阶段和利用阶段，其特征在于：具体步骤为：

步骤一、探索阶段的具体步骤为：

(1)智能体收到n个兴趣包时，先查询转发信息表，在转发信息表中添加一个Q值，Q值用于计算前缀端口对，并根据最长前缀匹配来获取候选端口列表，最后通过候选端口转发兴趣包；

(2)数据包中添加离开时间和最小Q值两个属性，智能体收到数据包时，通过数据包中所携带的信息计算数据包端口数据流的Q值，并将Q值添加到转发信息表中，其中，Q值的计算公式为公式四：

式中，ω(t)为学习率，为智能体v到i的时间，为从智能体v到d端的最短时间；

(3)智能体转发N₁个兴趣包后，结束当前的探索阶段，开始进入利用阶段；步骤二、利用阶段的具体步骤为：

a.智能体转发兴趣包时依据概率选择转发最佳端口，概率的计算公式为公式五：

式中，为在端口j上前缀f的兴趣包的转发概率，为在端口j上前缀f的数据流的Q值，k为常量，k＞0；

b.当满足公式五的条件或是发送了N₂个兴趣包时，结束利用阶段，重新开始进入探索阶段；